AUC ROC PR曲线

ROC曲线：

横轴：假阳性率代表将负例错分为正例的概率

纵轴：真阳性率代表能将正例分对的概率

AUC是ROC曲线下面区域得面积。

与召回率对比：

AUC意义：

任取一对（正、负）样本，把正样本预测为1的概率大于把负样本预测为1的概率的概率。基于上述，AUC反映的是分类器对样本的排序能力，如果进行随机预测，那么AUC的值应该为0.5.另外AUC对样本类别是否均衡并不敏感，所以不均衡样本通常使用AUC作为评价分类器的标准。

首先AUC值是一个概率值，当你随机挑选一个正样本以及一个负样本，当前的分类算法根据计算得到的Score值将这个正样本排在负样本前面的概率就是AUC值。当然，AUC值越大，当前的分类算法越有可能将正样本排在负样本前面，即能够更好的分类。

AUC面积的数值不会大于1。ROC曲线一般都处于y=x这条直线的上方-->AUC的取值范围在0.5和1之间

使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。

0，1 都靠中心斜线，主要看中间段，中间段正样本排前面的越多，属于正样本的概率值大且这个大概率符合实际情况（真阳性），序列前面大部分都是正样本而模型预测的偏向将它们预测为正样本，负样本排后面，这样曲线就会往左上靠拢，模型的效果就越好

AUC画图例子

假如我们已经得到了所有样本的概率输出（属于正样本的概率），现在的问题是如何改变“discrimination threashold”？我们根据每个测试样本属于正样本的概率值从大到小排序。下图是一个示例，图中共有20个测试样本，“Class”一栏表示每个测试样本真正的标签（p表示正样本，n表示负样本），“Score”表示每个测试样本属于正样本的概率。

接下来，我们从高到低，依次将“Score”值作为阈值threshold，当测试样本属于正样本的概率大于或等于这个threshold时，我们认为它为正样本，否则为负样本。举例来说，对于图中的第4个样本，其“Score”值为0.6，那么样本1，2，3，4都被认为是正样本，因为它们的“Score”值都大于等于0.6，而其他样本则都认为是负样本。每次选取一个不同的threshold，我们就可以得到一组FPR和TPR，即ROC曲线上的一点。这样一来，我们一共得到了20组FPR和TPR的值，将它们画在ROC曲线的结果如下图：

当我们将threshold设置为1和0时，分别可以得到ROC曲线上的(0,0)和(1,1)两个点。将这些(FPR,TPR)对连接起来，就得到了ROC曲线。当threshold取值越多，ROC曲线越平滑。

为什么要使用ROC和AUC呢？

ROC曲线有个很好的特性：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变。

AUC对样本类别是否均衡并不敏感，所以不均衡样本通常使用AUC作为评价分类器的标准。

http://alexkong.net/2013/06/introduction-to-auc-and-roc/

PR曲线

　　P-R图直观地显示出学习器在样本总体上的查全率和查准率。在进行比较时，若一个学习器的P-R曲线完全被另一个学习器的曲线完全“包住”，则我们就可以断言后者的性能优于前者。

准确率(accuracy),其定义是: 对于给定的测试数据集，分类器正确分类的样本数与总样本数之比。不适合不平衡数据

Precision 和Recall

　　查准率精确率Precision 是指分类器分类正确的正样本的个数占该分类器所有分类为正样本个数的比例。

　　查全率召回率Recall是指分类器分类正确的正样本个数占所有的正样本个数的比例。

　　在很多情况下，我们可以根据学习器的预测结果对样例进行排序，排在前面的是学习器认为最可能是正例的样本，排在后面的是学习器认为最不可能是正例的样本，按此顺序逐个把样本作为正例进行预测，则每次可计算当前的查全率和查准率，以查准率为y轴，以查全率为x轴，可以画出下面的P-R曲线。

　在linear model中，我们对各个特征线性组合，得到linear score,然后确定一个threshold，linear score ＜ threshold 判为负类，linear score ＞ threshold 判为正类。画PR曲线时，我们可以想象threshold 是不断变化的。首先，threshold 特别大，这样木有一个是正类，我们计算出查全率与查准率；然后 threshold 减小，只有一个正类，我们计算出查全率与查准率；然后 threshold再减小，有2个正类，我们计算出查全率与查准率；threshold减小一次，多出一个正类，直到所有的类别都被判为正类。然后以查全率为横坐标，差准率为纵坐标，画出图形即可。

例如，有

实际类别	linear score	threshold 为6	threshold 为5	threshold 为4	threshold 为3	threshold 为2	threshold 为1
+	5.2	-	+	+	+	+	+
+	4.45	-	-	+	+	+	+
-	3.5	-	-	-	+	+	+
-	2.45	-	-	-	-	+	+
-	1.65	-	-	-	-	-	+
		0/0	1 / 1	2 / 2	2 / 3	2 / 4	2 / 5	查准率
		0/2	1 / 2	2 / 2	2/ 2	2 / 2	2/ 2	差全率
		0/2	1/2	2/2	2/2	2/2	2/2	TPR
			0/3	0/3	1/3	2/3	3/3	FPR

　　绘制pr曲线代码

import matplotlib
import numpy as np  
import matplotlib.pyplot as plt  
Recall = np.array([0,1/2,2/2,2/2,2/2,2/2])
Precison = np.array([1/1,2/2,2/3,2/4,2/5,0])
plt.figure()
plt.ylim(0,1.1)
plt.xlabel("Recall")
plt.xlim(0,1.1)
plt.ylabel("Precison")
plt.plot(Recall,Precison)
plt.show()

ROC和PR曲线的选择

　　如果负样本对于问题没有多大价值，或者负样本比例很大。那么，PR曲线通常更合适。

比如样本正负比例非常不平衡，且正样本非常少，那我们使用PR曲线。举个例子：欺诈检测，其中非欺诈样本可能为10000，而欺诈样本可能低于100。

　　否则ROC会更有用