数据分析第七篇：模型性能评价及选择

1. 模型性能评价及选择

看下sklearn中支持哪些机器学习的评估指标：

from sklearn.metrix import SCORERS
SCORERS

1.1回归模型性能评价及选择

1.1.1Mean Absolute Error 平均绝对误差（MAE）

损失函数没有用这个，是因为绝对值不方便求导

1.1.2Mean Squared Error 均方误差（MSE）

1.1.3Root Mean Squared Error：均方根误差（RMS）

https://zhuanlan.zhihu.com/p/36326966

优缺点：在不同的物品中无法衡量好坏

1.1.4Coefficient of determination 决定系数(R2和调整R2)

R2方法是将预测值跟只使用均值的情况下相比，看能好多少。其区间通常在（0,1）之间。0表示还不如什么都不预测，直接取均值的情况，而1表示所有预测跟真实结果完美匹配的情况。

R方的意义：

注意：

R^2<=1
R^2越大越好，当我们的模型不犯任何错误，R^2=1
当我们的模型等于基模型的时候，R^2=0
如果R^2<0 ，说明我们学习到的模型还不如基模型，很有可能我们的数据不存在任何线性关系

1.2分类模型性能评价及选择

给你一个癌症检测的数据集。你已经建好了分类模型，取得了96％的精度。为什么你还是不满意你的模型性能？你可以做些什么呢？ https://zhuanlan.zhihu.com/p/43926232

衡量分类器的好坏？https://zhuanlan.zhihu.com/p/43088612

机器学习和统计里面的auc的物理意义是啥？https://zhuanlan.zhihu.com/p/43088612

1.2.1准确率 Accuracy

# same to accuracy
print("score", KNN_classifier.score(X_test, y_test))

# must predict the result before use the function
print("accuracy_score:",accuracy_score(y_test, y_predict))

1.2.2准确率悖论 Accuracy Paradox

这个图是我们用分类器模型预测出来的结果得到的准确率：

下面这个是我们用一个傻瓜式的分类，将所有的结果预测为0得到的精确度

1.2.3伪阳性和伪阴性 False Positive 和 False Negative

伪阳性（第一类错误）：预测某类事情会发生但是实际并没有发生

伪阴性（第二类错误）：预测某类事情不会发生但是实际发生

一般来说第二类错误比第一类错误严重得多。比如说艾滋病检测

你怎么理解第一类和第二类错误？https://zhuanlan.zhihu.com/p/44483185

1.2.4混淆矩阵 Confusion Matrix

1.2.5精准率（查准率） Precision

有时候我们会更加注重精准率，比如说股票预测

Precison = TP/(TP+FP)

1.2.6召回率（查全率）Recall

有时候更加注重召回率，比如说病人诊断，比如说地震预测

Recall = TP/(TP+FN)

真阳性率和召回有什么关系？写出方程式。https://zhuanlan.zhihu.com/p/44200970

1.2.7 F1 Score

有些情况下并没有上面两个这么极端，我们希望能同时关注精准率和召回率，这种时候我们使用F1 score ，同时使用精准率和召回率。

F1 score使用的是precision和recall的调和平均值，调和平均值的特点是两者中有一个特别低整个值也就特别低，只有这两个都同时很高，结果才会很高

F1=2PR/（P+R）取值范围为（0,1）

1.2.8 AUC Area Under Curve

AUC 值为 ROC 曲线所覆盖的区域面积，显然，AUC越大，分类器分类效果越好。

AUC = 1，是完美分类器。

0.5 < AUC < 1，优于随机猜测。有预测价值。

AUC = 0.5，跟随机猜测一样（例：丢铜板），没有预测价值。

AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。

注：对于AUC小于 0.5 的模型，我们可以考虑取反（模型预测为positive，那我们就取negtive），这样就可以保证模型的性能不可能比随机猜测差。

1.2.9 累计准确曲线 CAP Curve（ROC）

蓝色的曲线：使用随机模型联系客户

红色的曲线：使用模型预测概率之后有选择的联系客户

黑色的线：最好的曲线

那么如何量化曲线的好与不好？

AR比值越接近1，说明模型的效果越好，比值越接近0，说明模型的效果越差

但是计算面积比较复杂，那如何用一个简单的方法去判断？

这个时候我们可以选择X轴的50%的点，去看y的值