读《平凡而又神奇的贝叶斯方法》有感

 

前面一段阅读了N人刘未鹏的《平凡而又神奇的贝叶斯方法》,链接为 http://blog.csdn.net/pongba/archive/2008/09/21/2958094.aspx.

这篇文章从实例出发,讲解得通俗易懂,让我很有收获,但也有一些自己的看法,现总结如下。

文中提到:“一个过配的模型试图连误差(噪音)都去解释(而实际上噪音又是不需要解释的),显然就过犹不及了。” 这句话很好的诠释了过拟合产生的原因,但我认为这只是一部分原因,另一个原因是模型本身并不能很好地解释(匹配)数据,也就是说观测到的数据并不是由该模型产生的。

文中还提到:“统计学家说:我们让数据自己说话。言下之意就是要摒弃先验概率。而贝叶斯支持者则说:数据会有各种各样的偏差,而一个靠谱的先验概率则可以对这些随机噪音做到健壮。事实证明贝叶斯派胜利了,胜利的关键在于所谓先验概率其实也是经验统计的结果。” 事实上贝叶斯本身就是一个基于统计的模型……

然而,文中以树后的箱子为例,阐述似然也有选择简单模型的倾向。我对此有疑义。似然是选择与观测最匹配的结果。根据当前的观测结果,显然一个箱子的模型是最符合观测的,也就是说,如果树两边的箱子高矮不一,颜色不同,那么两个箱子的模型就是最匹配的。因此,似然只是选择与观测最匹配的模型,而并没有选择简单模型的倾向。否则,就不会有那么严重的过拟合现象发生。

 文中还提到:“反之,如果背后的模型是一条直线,那么根据该模型生成一堆近似构成直线的点的概率就大得多了。” 这里的表述有问题,既然已经把模型看成是直线了,那么根据直线模型生成一堆近似构成直线的点的概率是接近1的。同理,我们既然已经认为可以用N-1阶模型去拟合,那么根据N-1阶模型生成的N个点当然就是符合N-1阶模型的,而不需要她去符合直线。 那么问题究竟应该怎样描述呢? 根据作者的意思问题应该这样来描述,一个多项式在平面上随机生成的一堆 N 个点偏偏恰好近似构成一条直线的概率很小很小,然而一条直线在平面上随机生成的一堆N个点(考虑随机误差)能拟合成一个N-1阶曲线的概率是1(一定能用一个N-1阶多项式来拟合)。换句话说,曲线上(N-1阶多项式)随机生成的点能被拟合成直线的概率接近于0,而直线上随机生成的点能被拟合成曲线的概率接近1。因此,若一堆点即能用直线去拟合,也能用N-1阶多项式拟合(必然),那么,他属于直线模型的概率更大。

原文地址:https://www.cnblogs.com/Mrendy/p/2068839.html