TensorFlow 笔记 ——1 —— GraphKeys,等待补充

https://tensorflow.google.cn/versions/r1.15/api_docs/python/tf/GraphKeys?hl=zh_cn

Class GraphKeys

用于graph collections的标准名称

别名：

• Class tf.compat.v1.GraphKeys

标准库使用各种众所周知的名称来收集和检索与图关联的值。例如，如果指定为none，tf.Optimizer子类默认优化在tf.GraphKeys.TRAINABLE_VARIABLES下收集的变量，但是也可以传递显式的变量列表。

所以这个类下面的变量就是各种collections的keys值，通过这些值为String变量的名称，能够通过get_collection()方法来得到对应的值

tf.get_collection

Graph.get_collection()的封装，使用默认graph


tf.get_collection(
    key,
    scope=None
)

参数：

• key: collection的key值。例如，GraphKeys类包含许多集合的标准名称。
• scope:(Optional):如果提供了此选项，则对结果列表进行筛选，以只包含名称属性使用re.match匹配的项。如果提供了scope值，并且choice或re.match表示没有特殊标记的作用域通过前缀筛选，则不返回没有name属性的项。

返回：

具有给定name的集合中的值列表，或者如果没有向该集合中添加值，则为空列表。该列表按收集值的顺序包含值。

定义了如下的标准keys：

• GLOBAL_VARIABLES：变量对象的默认集合，跨分布式环境共享(模型变量（model variable）是其中的子集)。更多细节请参见tf.compat.v1.global_variables。通常，所有TRAINABLE_VARIABLES变量都在MODEL_VARIABLES中，而所有MODEL_VARIABLES变量都在GLOBAL_VARIABLES中。
• LOCAL_VARIABLES：位于每台机器局部的变量对象的子集。通常用于临时变量，如计数器。注意:使用tf.contrib.framework.local_variable将其添加到此集合中。
• MODEL_VARIABLES：模型中用于推理(前向传播)的变量对象的子集。注意:使用tf.contrib.framework.model_variable将其添加到这个集合中。
• TRAINABLE_VARIABLES：将由优化器训练的变量对象的子集。更多细节请参见tf.compat.v1.trainable_variables。
• SUMMARIES：在graph中创建的summary张量对象。更多细节见tf.compat.v1.summary.merge_all。
• QUEUE_RUNNERS：用于为计算生成输入的QueueRunner对象。参见tf.compat.v1.train.start_queue_runners了解更多细节。
• MOVING_AVERAGE_VARIABLES：保持移动平均值的可变对象的子集。更多细节请参见tf.compat.v1.moving_average_variables。
• REGULARIZATION_LOSSES:在graph构造过程中收集的正则化损失。

还定义了以下标准keys，但是它们的集合不会像其他的那样自动填充，就是你可以手动使用add_to_collection()手动填充:

• WEIGHTS
• BIASES
• ACTIVATIONS

tf.add_to_collection

Graph.add_to_collection()的封装，其使用了默认graph


别名：

• tf.compat.v1.add_to_collection

tf.add_to_collection(
    name,
    value
)

根据给定的name值将value值存储在对应的collection中

参数：

• name:集合collection的键key。例如，GraphKeys类中包含的许多集合的标准名称。
• value:要添加到该collection的值

tf.add_to_collections

Graph.add_to_collections()的封装，其使用了默认graph

别名：

• tf.compat.v1.add_to_collections

tf.add_to_collections(
    names,
    value
)

将值存储在由name给出的集合中。

注意，collections不是集合，因此可以多次向collection添加值。此函数确保忽略名称中的重复项，但它不会检查names中任何collections中value的预先存在的成员关系。

names可以是任何可迭代的，但如果names是字符串，则将其视为单个集合名称。

参数：

• names:集合collection的键keys。例如，GraphKeys类中包含的许多集合的标准名称。
• value:要添加到该collection的值

其他的标准名称如下：

• ACTIVATIONS = 'activations'
• ASSET_FILEPATHS = 'asset_filepaths'
• BIASES = 'biases'
• CONCATENATED_VARIABLES = 'concatenated_variables'
• COND_CONTEXT = 'cond_context'
• EVAL_STEP = 'eval_step'
• GLOBAL_STEP = 'global_step'
• GLOBAL_VARIABLES = 'variables'
• INIT_OP = 'init_op'
• LOCAL_INIT_OP = 'local_init_op'
• LOCAL_RESOURCES = 'local_resources'
• LOCAL_VARIABLES = 'local_variables'
• LOSSES = 'losses'
• METRIC_VARIABLES = 'metric_variables'
• MODEL_VARIABLES = 'model_variables'
• MOVING_AVERAGE_VARIABLES = 'moving_average_variables'
• QUEUE_RUNNERS = 'queue_runners'
• READY_FOR_LOCAL_INIT_OP = 'ready_for_local_init_op'
• READY_OP = 'ready_op'
• REGULARIZATION_LOSSES = 'regularization_losses'
• RESOURCES = 'resources'
• SAVEABLE_OBJECTS = 'saveable_objects'
• SAVERS = 'savers'
• SUMMARIES = 'summaries'
• SUMMARY_OP = 'summary_op'
• TABLE_INITIALIZERS = 'table_initializer'
• TRAINABLE_RESOURCE_VARIABLES = 'trainable_resource_variables'
• TRAINABLE_VARIABLES = 'trainable_variables'
• TRAIN_OP = 'train_op'
• UPDATE_OPS = 'update_ops'
• VARIABLES = 'variables'
• WEIGHTS = 'weights'
• WHILE_CONTEXT = 'while_context'

下面举例说明几个常用的：

1. tf.GraphKeys.GLOBAL_VARIABLES

1） tf.global_variables

别名：

• tf.compat.v1.global_variables

tf.global_variables(scope=None)

全局变量是分布式环境中跨机器共享的变量。Variable()构造函数或get_variable()函数自动向Graph集合GraphKeys.GLOBAL_VARIABLES中添加新变量。这个方便的函数tf.global_variables()返回该集合的内容。

局部变量是全局变量的替代品。看到tf.compat.v1.local_variables

参数：

• scope : (optional)一个字符串。如果提供了，则对结果列表进行筛选，以使用re.match返回只包含名称属性与作用域匹配的项。如果提供了作用域，则不会返回没有name属性的项。match的选择意味着没有特殊标记的范围通过前缀进行筛选。

返回：

• 变量对象列表

我们熟悉的tf.global_variables_initializer()就是初始化这个集合内的Variables。

2） tf.local_variables

别名：

• tf.compat.v1.local_variables

tf.local_variables(scope=None)

局部变量——每个进程变量，通常不保存/恢复到checkpoint，用于临时或中间值。例如，它们可以用作度量计算的计数器，或者机器读取数据的epoch数。函数的作用是:将新变量自动添加到GraphKeys.LOCAL_VARIABLES中。这个方便的函数返回该集合的内容。

局部变量的替代方法是全局变量。看到tf.compat.v1.global_variables

参数：

• scope(optional):一个字符串。如果提供了，则对结果列表进行筛选，以使用re.match返回只包含名称属性与作用域匹配的项。如果提供了作用域，则不会返回没有name属性的项。match的选择意味着没有特殊标记的范围通过前缀进行筛选。

返回：

• 局部变量对象列表

例子：

import tensorflow as tf
sess = tf.Session()

#这里没有指定collections参数的值，则collections=None，等价于 collection=[tf.GraphKeys.GLOBAL_VARIABLES]
a = tf.get_variable("a", [3,112,112])
b = tf.get_variable("b", [64])
print("a is ", a)
print("b is  ", b)

返回：

a is  <tf.Variable 'a:0' shape=(3, 112, 112) dtype=float32_ref>
b is   <tf.Variable 'b:0' shape=(64,) dtype=float32_ref>

可见生成了两个变量a和b，名字分别为'a:0'和'b:0'

print("tf.GraphKeys.GLOBAL_VARIABLES = ", tf.GraphKeys.GLOBAL_VARIABLES)
global_variables_list = tf.get_collection(tf.GraphKeys.GLOBAL_VARIABLES)
print("global_variables_list is ", global_variables_list)

返回：

tf.GraphKeys.GLOBAL_VARIABLES =  variables
global_variables_list is  [<tf.Variable 'a:0' shape=(3, 112, 112) dtype=float32_ref>, <tf.Variable 'b:0' shape=(64,) dtype=float32_ref>]

可见tf.GraphKeys.GLOBAL_VARIABLES对应的字符串名称为"variables",且其对应的collections中果然有a和b两个变量

使用自定义的collections

c = tf.get_variable("c", [10], collections=["my_collections"])
d = tf.get_variable("d", [20], collections=["my_collections"])

my_variables_list = tf.get_collection("my_collections")
print("my_variables_list is ", my_variables_list)

返回：

my_variables_list is  [<tf.Variable 'c:0' shape=(10,) dtype=float32_ref>, <tf.Variable 'd:0' shape=(20,) dtype=float32_ref>]

tf.GraphKeys.REGULARIZATION_LOSSES

在使用tf.get_variable()时如果使用的了参数regularizer指定使用的正则化函数，则将新创建的变量应用正则化后的结果将添加到tf.GraphKeys.REGULARIZATION_LOSSES集合中，可用于正则化。

其实就是损失中添加了正则化项，输入即这些变量权重weight值

接着上面的例子：

weight_decay = 0.1
l2_reg = tf.contrib.layers.l2_regularizer(weight_decay)
tmp = tf.constant([0,1,2,3], dtype=tf.float32)
k = tf.get_variable('k', regularizer=l2_reg, initializer=tmp)
global_variables_list = tf.get_collection("variables")
print("global_variables_list is ", global_variables_list)

#regularizer定义会将k加入REGULARIZATION_LOSSES集合
regular_variables_list = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)
print("regular_variables_list is ", regular_variables_list)

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    print(sess.run(k))
    l2_loss = tf.add_n(regular_variables_list)#实现一个列表的元素的相加
    print("loss is ", sess.run(l2_loss))

返回：

global_variables_list is  [<tf.Variable 'a:0' shape=(3, 112, 112) dtype=float32_ref>, <tf.Variable 'b:0' shape=(64,) dtype=float32_ref>, <tf.Variable 'k:0' shape=(4,) dtype=float32_ref>]
regular_variables_list is  [<tf.Tensor 'k/Regularizer/l2_regularizer:0' shape=() dtype=float32>]
[0. 1. 2. 3.]
loss is  0.7

L2正则化的操作等价于：

tf.reduce_sum(a*a)*weight_decay/2 = 0.1*(0*0+1*1+2*2+3*3)/2=0.7

如果有多个变量都定义了regularizations参数，则：

weight_decay = 0.1
l2_reg = tf.contrib.layers.l2_regularizer(weight_decay)
tmp = tf.constant([0,1,2,3], dtype=tf.float32)
tmp2 = tf.constant([1,2,3,4], dtype=tf.float32)

k = tf.get_variable('k', regularizer=l2_reg, initializer=tmp)
k2 = tf.get_variable('k2', regularizer=l2_reg, initializer=tmp2)

global_variables_list = tf.get_collection("variables")
print("global_variables_list is ", global_variables_list)

#regularizer定义会将k加入REGULARIZATION_LOSSES集合
regular_variables_list = tf.get_collection(tf.GraphKeys.REGULARIZATION_LOSSES)
print("regular_variables_list is ", regular_variables_list)

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    l2_loss = tf.add_n(regular_variables_list) #实现一个列表的元素的相加
    print("loss is ", sess.run(l2_loss))

返回：

global_variables_list is  [<tf.Variable 'a:0' shape=(3, 112, 112) dtype=float32_ref>, <tf.Variable 'b:0' shape=(64,) dtype=float32_ref>, <tf.Variable 'k:0' shape=(4,) dtype=float32_ref>, <tf.Variable 'k2:0' shape=(4,) dtype=float32_ref>]
regular_variables_list is  [<tf.Tensor 'k/Regularizer/l2_regularizer:0' shape=() dtype=float32>, <tf.Tensor 'k2/Regularizer/l2_regularizer:0' shape=() dtype=float32>]
loss is  2.2

L2正则化的操作等价于：

tf.reduce_sum(k*k)*weight_decay/2 = 0.1*(0*0+1*1+2*2+3*3)/2=0.7
tf.reduce_sum(k2*k2)*weight_decay/2 = 0.1*(1*1+2*2+3*3+4*4)/2=1.5

 所以：

l2_loss = tf.add_n([0.7, 1.5]) = 2.2

tf.GraphKeys.UPDATE_OPS

用来将一些在运行过程中需要更新，但是有不是随着梯度后向传播更新的参数添加到该collection中，然后用于更新参数

比如AM_softmax实现中：

def diam_softmax(prelogits, label, num_classes,
                    scale='auto', m=1.0, alpha=0.5, reuse=None):
    ''' Implementation of DIAM-Softmax, AM-Softmax with Dynamic Weight Imprinting (DWI), proposed in:
            Y. Shi and A. K. Jain. DocFace+: ID Document to Selfie Matching. arXiv:1809.05620, 2018.
        The weights in the DIAM-Softmax are dynamically updated using the mean features of training samples.
    '''
    num_features = prelogits.shape[1].value
    batch_size = tf.shape(prelogits)[0]
    with tf.variable_scope('AM-Softmax', reuse=reuse):
        weights = tf.get_variable('weights', shape=(num_classes, num_features),
                initializer=slim.xavier_initializer(),
                trainable=False,
                dtype=tf.float32)
        _scale = tf.get_variable('_scale', shape=(),
                regularizer=slim.l2_regularizer(1e-2),
                initializer=tf.constant_initializer(0.0),
                trainable=True,
                dtype=tf.float32)

        # Normalizing the vecotors
        prelogits_normed = tf.nn.l2_normalize(prelogits, dim=1)
        weights_normed = tf.nn.l2_normalize(weights, dim=1)

        # Label and logits between batch and examplars
        label_mat_glob = tf.one_hot(label, num_classes, dtype=tf.float32)
        label_mask_pos_glob = tf.cast(label_mat_glob, tf.bool) #将0转成False，1转成True，只有对应的那个类是True，其他类对应为False
        label_mask_neg_glob = tf.logical_not(label_mask_pos_glob) #取反操作，其他类为True

        logits_glob = tf.matmul(prelogits_normed, tf.transpose(weights_normed))
        # logits_glob = -0.5 * euclidean_distance(prelogits_normed, tf.transpose(weights_normed))
        logits_pos_glob = tf.boolean_mask(logits_glob, label_mask_pos_glob)
        logits_neg_glob = tf.boolean_mask(logits_glob, label_mask_neg_glob)

        logits_pos = logits_pos_glob
        logits_neg = logits_neg_glob

        if scale == 'auto':
            # Automatic learned scale
            scale = tf.log(tf.exp(0.0) + tf.exp(_scale))
        else:
            # Assigned scale value
            assert type(scale) == float

        # Losses
        _logits_pos = tf.reshape(logits_pos, [batch_size, -1])
        _logits_neg = tf.reshape(logits_neg, [batch_size, -1])

        _logits_pos = _logits_pos * scale
        _logits_neg = _logits_neg * scale
        _logits_neg = tf.reduce_logsumexp(_logits_neg, axis=1)[:,None]

        loss_ = tf.nn.softplus(m + _logits_neg - _logits_pos)
        loss = tf.reduce_mean(loss_, name='diam_softmax')

        # Dynamic weight imprinting
        # We follow the CenterLoss to update the weights, which is equivalent to
        # imprinting the mean features
        # 如temp = [1,11,21,31,41,51,61], indice=[0,3,5]
        # tf.gather(temp, indice)返回[1,31,51]
        weights_batch = tf.gather(weights, label) #根据label指向的类去得到对应的weight
        diff_weights = weights_batch - prelogits_normed
        # x=[1, 1, 2, 4, 4, 4, 7, 8, 8]
        # y, idx, count = unique_with_counts(x)
        # y ==> [1, 2, 4, 7, 8]
        # idx ==> [0, 0, 1, 2, 2, 2, 3, 4, 4]
        # count ==> [2, 1, 3, 1, 2]
        unique_label, unique_idx, unique_count = tf.unique_with_counts(label)
        appear_times = tf.gather(unique_count, unique_idx)
        appear_times = tf.reshape(appear_times, [-1, 1])
        diff_weights = diff_weights / tf.cast(appear_times, tf.float32)
        diff_weights = alpha * diff_weights
        #将weights中特定位置label的数与diff_weights对应的值分别进行减法运算
        #没指定的位置值不变，来更新在mini_batch中出现的类的weight
        weights_update_op = tf.scatter_sub(weights, label, diff_weights)#将weights中特定位置label的数分别与diff_weights进行减法运算
        #tf.control_dependencies()此函数指定某些操作执行的依赖关系
        #即tf.assign()操作要在tf.control_dependencies([weights_update_op])指定的weights_update_op操作后才能执行
        with tf.control_dependencies([weights_update_op]): #weight权值通过weights_update_op操作更新后才执行下面的赋值操作
            # 之后sess.run(weights_update_op)后weights的值才变
            weights_update_op = tf.assign(weights, tf.nn.l2_normalize(weights,dim=1)) #将weights归一化后的值赋值给weights，返回的结果就是参数中归一化的weight
        tf.add_to_collection(tf.GraphKeys.UPDATE_OPS, weights_update_op) #将元素weights_update_op添加到列表tf.GraphKeys.UPDATE_OPS中
        
        return loss

这样后面通过：

update_ops = tf.get_collection(tf.GraphKeys.UPDATE_OPS)
sess.run([update_ops])

进行更新

tf.GraphKeys.TRAINABLE_VARIABLES

由优化器Optimizer训练的变量对象的子集

使用tf.get_variable()和tf.Variable()声明的变量（即trainable=True，默认就为True）就会默认加入该子集中