【20】机器学习准确率与人类的比较;可避免偏差;如何理解人的表现

机器学习准确率与人类的比较

 当一个算法表现比人类好时,性能会逐渐达到某个理论上限,这就是贝叶斯最优错误率(bayes optional error),是指理论上可以达到的最优错误率

可避免偏差

 以猫分类器为例,假设人类错误率为1%,如果训练集和测试集错误率分别为8%和10%,我们会倾向与减少偏差,因为与人类1%的错误率相比,模型拟合并不好。因而我们可以训练更大的神经网络,或者跑久一点梯度下降。但如果人类错误率是7.5%,那么就没有太大的必要去降低错误率了。因为人类的错误率和贝叶斯最优错误率差不多,所以目前的错误率已经和贝叶斯的差不多了,即使我们加强训练,错误率也没有很大的提升,所以就不去管错误率了。

可避免偏差=模型的错误率-贝叶斯最优错误率(人类错误率)

可避免偏差代表了算法在方差问题上还有多少改善空间。

如何理解人的表现

 以一个例子说明:对于一个医学CT的诊断,abcd分别是普通人、普通医生、专家、顶尖团队的错误率,这四类人的错误是不同的,那么应该以哪个作为人的”标准错误率“呢?    一般认为,应该以最低的错误率为标准,即把顶尖团队的0.5的错误率看做贝叶斯最优错误率。

原文地址:https://www.cnblogs.com/lau1997/p/12361346.html