ROC全称Receiver operating characteristic。
定义
TPR：true positive rate，正样本中分类正确的比率，即TP/(TP+FN)，一般希望它越大越好
FPR：false negtive rage，负样本中分类错误的比率，即FP/(FP+TN)，一般希望它越小越好
ROC曲线：以FPR作为X轴，TPR作为y轴
roc_curve函数的原理及计算方式
要作ROC曲线，需要计算FPR及对应的TPR。
对于一个给定的预测概率，设定不同的阈值，预测结果会不一样。例如我们设定阈值在0.5以上的为预测正确的样本和阈值在0.3以上的结果，得到的预测就完全不同。而ROC曲线就是计算不同阈值下FPR及对应的TPR。
以https://www.w3cschool.cn/doc_scikit_learn/scikit_learn-modules-generated-sklearn-metrics-roc_curve.html?lang=en为例
>>> import numpy as np >>> from sklearn import metrics >>> y = np.array([1, 1, 2, 2]) >>> scores = np.array([0.1, 0.4, 0.35, 0.8]) >>> fpr, tpr, thresholds = metrics.roc_curve(y, scores, pos_label=2) >>> fpr array([ 0. , 0.5, 0.5, 1. ]) >>> tpr array([ 0.5, 0.5, 1. , 1. ]) >>> thresholds array([ 0.8 , 0.4 , 0.35, 0.1 ])
roc_curve从score中取了4个值作为阈值，用这个阈值判断，得到不同阈值下的fpr和tpr，利用fpr和tpr作出ROC曲线。
auc原理及计算方式：
AUC全称Area Under the Curve，即ROC曲线下的面积。sklearn通过梯形的方法来计算该值。上述例子的auc代码如下：
>>> metrics.auc(fpr, tpr)
0.75
roc_auc_score原理及计算方式：
在二分类问题中，roc_auc_score的结果都是一样的，都是计算AUC。
在多分类中，有两种计算方式：One VS Rest和 One VS One，在multi_class参数中分别为ovr和ovo。
ovr：以3分类为例，混淆矩阵分为3层，第一层为C1类和排除了C1的其他类，第二层为C2类和排除了C2的其他类，第三层为C3类和排除了C3的其他类，如图所示：
在这种情况下，需要指明如何得到总的score，sklearn的average参数有4种选择：
micro: 把所有类放在一起计算。即
$ TPR= frac{TP1+TP2+TP3}{TP1+FN1+TP2+FN2+TP3+FN3} $
$ FPR= frac{FP1+FP2+FP3}{FP1+TN1+FP2+TN2+FP3+TN3} $
然后以此作ROC曲线，求得score
macro: 为每一层分配相同的权值。即
$ TPR= frac{1}{3}(frac{TP1}{TP1+FN1}+frac{TP2}{TP2+FN2}+frac{TP3}{TP3+FN3}) $
$ FPR= frac{1}{3}(frac{FP1}{FP1+TN1}+frac{FP2}{FP2+TN2}+frac{FP3}{FP3+TN3}) $
weighted: 以该类在样本中占的百分比作为权重，计算TPR和FPR。
$ TPR= frac{TP1}{TP1+FN1}w_1+frac{TP2}{TP2+FN2}w_2+frac{TP3}{TP3+FN3}w_3 $
$ FPR= frac{FP1}{FP1+TN1}w_1+frac{FP2}{FP2+TN2}w_2+frac{FP3}{FP3+TN3}w_3 $
sample: 对于样本很不均匀的类，可以采用该方法。所以对多分类的roc_auc_score使用示例如下：
roc_auc_score(y_true, y_scores, multi_class='ovo',labels=[0,1,2],average='macro')