机器学习基石笔记-Lecture 8 Noise and error

论证了在有noise的情形下,机器依然可以学习。然后介绍了error 的几种衡量方法。

想象在抽取弹珠的过程中,弹珠会不断地变色,那么在抽出来的时刻,它的颜色对应一个概率分布。

类比到有noise的情形,就是 对一个x,本来是确定的,加入noise后, 对应到了一个概率分布。

即便如此,在变色弹珠抽样中,抽出来的时刻的弹珠颜色占比仍然能估计出总体此刻的颜色占比,只要每一个弹珠的颜色分布都是iid的。

,那就是说 |Ein - Eout| 仍然能够符合vc bound.

称P(y|x)为目标分布,在例子中,根据P(y|x)可以得到 ideal mini-target f(x)。

学习的目标变成了 在常见的点上预测 ideal mini-target f(x).

error measure

衡量g的好坏,看g在out of sample上的错误率,通常是对每一个x算错误率后取均值。

在二分类中,错误用0/1来衡量。

两个常见的pointwise error衡量方法,0/1 error通常用于分类,平方error通常用于回归。

measure选取不一样,最终 ideal mini-target  f(x)  也会不一样。

因此可以说 error measure用来指导算法A进行学习。

至于为什么VC理论在更多的H和error上能够work还搞不懂。。

应该如何设计error measure呢?

true err 真正量化出来基本是不可能的,所以实际中常常使用plausible或者friendly(对算法来说容易求解)的方法,这样得到的是err^,而非err,是对err的估计或者逼近。

原文地址:https://www.cnblogs.com/akanecode/p/7054616.html