统计学习方法-提升方法

提升方法

提升方法以一种比较常用的统计学习方法,前面我们讲了很多算法,其实都是针对分类问题的,提升方法可以通过改变训练样本的权重学习多个分类器,并将这些分类器进行线性组合,提高分类的性能。

提升方法的基本思路:提升方法基于这样一种思想,对于一个复杂任务来所,将多个专家的判断进行适当的综合所得出的判断,要比其中任何一个专家单独的判断要好。
事实上可以用强学习算法与弱学习算法去解释它,强学习算法指我们学到的模型预测性能远比随机猜测的要好。弱学习算法则是使用学习的模型进行预测,准确率仅比随机预测的的准确率高一点。所以很多时候,提升方法就是将多个弱学习分类器线性组合成强学习分类器。
之后我准备介绍在下一篇博客介绍一下典型的提升方法AdaBoost.

原文地址:https://www.cnblogs.com/gaoxing2580/p/12423422.html