机器学习技法-AdaBoost元算法

课程地址:https://class.coursera.org/ntumltwo-002/lecture

重要!重要!重要~

image

一、Adaptive Boosting 的动机

通过组合多个弱分类器(hypothese),构建一个更强大的分类器(hypothese),从而达到“三个臭皮匠赛过诸葛亮”的效果。

例如实际中,可以通过简单的“横”“竖”组成比较复杂的模型。

image

二、样本权重

image

AdaBoost元算法中有个很重要的概念叫样本权重u。

学习算法A使用相同的样本集合D,每次训练后,D中每个样本的权重u会有所变化。由于样本权重u不同,所以每次都会生成不同g(t).

总的原则是“增大错误样本的权重,减小正确样本的权重”。数学描述如下:

 image

三、AdaBoost元算法描述

初始化样本权重u,通多”弱算法“A、迭代更新样本权重u,生成不同的g(t),当错误率或者迭代次数满足要求后,通过alpha融合g(t),得到”强算法“G。

image

四、单层决策树(Decision Stump)

通常在AdaBoost使用的“弱算法”为单层决策树。在二维空间上的物理意义是针对某些特征的“横、竖”线。

image

五、AdaBoost的应用案例

对数据集迭代100次的AdaBoost算法分类结果,类似sine函数形状。

image

 

原文地址:https://www.cnblogs.com/wxquare/p/5352080.html