作者:知乎用户
链接:https://www.zhihu.com/question/277184041/answer/480219663
其中第一份资料的PPT里有一张图,我觉得很形象。看了这张图,我算大概理解了AP的计算。
![](https://pic1.zhimg.com/80/v2-87ca403b949c759e8f1cd39c0d8ff294_hd.jpg)
AP 和 precision 不同的原因就是 AP 考虑了 recall 的因素,我理解的AP的概念就是同一个推荐系统内,针对不同的 recall (0.10--1.00)值记录一个对应的 precision,然后计算所有 recall 值对应 precision的平均值。上图的 AP值 即为 10个灰色部分的precision之和除以10,得到最终结果0.76。
mAP的计算,我是看到这张图,才有点理解的。
![](https://pic4.zhimg.com/80/v2-ba8e53bcd1beba2233c4f6dc71b8f744_hd.jpg)
扯了一堆,说回tf.metrics.sparse_average_precision_at_k
,去Github上找了一下这个函数,然后发现在新的版本中,其实用的是average_precision_at_k
这个函数,然后它的主要参数如下:
labels, predictions, k, weights, metrics_collections, updates_collections, name
我觉得就是重点关注 labels, predictions, k,给一个例子,这个例子是我搜遍整个谷歌,最后在
Github的issue找到的。
import tensorflow as tf
import numpy as np
y_true = np.array([[2], [1], [0], [3], [0], [1]]).astype(np.int64)
y_true = tf.identity(y_true)
y_pred = np.array([[0.1, 0.2, 0.6, 0.1],
[0.8, 0.05, 0.1, 0.05],
[0.3, 0.4, 0.1, 0.2],
[0.6, 0.25, 0.1, 0.05],
[0.1, 0.2, 0.6, 0.1],
[0.9, 0.0, 0.03, 0.07]]).astype(np.float32)
y_pred = tf.identity(y_pred)
_, m_ap = tf.metrics.sparse_average_precision_at_k(y_true, y_pred, 2)
sess = tf.Session()
sess.run(tf.local_variables_initializer())
stream_vars = [i for i in tf.local_variables()]
print((sess.run(stream_vars)))
tf_map = sess.run(m_ap)
print(tf_map)
tmp_rank = tf.nn.top_k(y_pred,4)
print(sess.run(tmp_rank))
- 简单解释一下,首先
y_true
代表标签值(未经过one-hot),shape:(batch_size, num_labels)
,y_pred
代表预测值(logit值) ,shape:(batch_size, num_classes)
- 其次,要注意的是
tf.metrics.sparse_average_precision_at_k
中会采用top_k
根据不同的k
值对y_pred
进行排序操作 ,所以tmp_rank
是为了帮助大噶理解究竟y_pred
在函数中进行了怎样的转换。 - 然后,
stream_vars = [i for i in tf.local_variables()]
这一行是为了帮助大噶理解tf.metrics.sparse_average_precision_at_k
创建的tf.local_varibles
实际输出值,进而可以更好地理解这个函数的用法。 - 具体看这个例子,当
k=1
时,只有第一个batch的预测输出是和标签匹配的 ,所以最终输出为:1/6 = 0.166666
;当k=2
时,除了第一个batch的预测输出,第三个batch的预测输出也是和标签匹配的,所以最终输出为:(1+(1/2))/6 = 0.25
。