偏差和方差

1.图形化

偏差:描述的是预测值(估计值)的期望与真实值之间的差距。偏差越大,越偏离真实数据,如下图第二行所示。

方差:描述的是预测值的变化范围,离散程度,也就是离其期望值的距离。方差越大,数据的分布越分散,如下图右列所示。

2.公式

以回归任务为例,学习算法的期望预测为:

这里的期望预测也就是针对不同数据集D,模型f对样本x的预测值取其期望,也叫做平均预测(average predicted)。

(1)方差定义:

使用样本数相同的不同训练集产生的方差为:

方差的含义:方差度量了同样大小的训练集的变动所导致的学习性能的变化,即刻画了数据扰动所造成的影响。

(2)偏差定义:

期望输出与真实标记的差别称为偏差(bias),即:

偏差的含义:偏差度量了学习算法的期望预测与真实结果的偏离程度,即刻画了学习算法本身的拟合能力。

参考:https://www.zhihu.com/question/20448464/answer/20039077 

      https://zhuanlan.zhihu.com/p/38853908

原文地址:https://www.cnblogs.com/AntonioSu/p/14708949.html