机器学习与模式识别之——组合模型

组合模型的直观思想:三个臭皮匠胜过诸葛亮,少数服从多数

要获得号的集成,个体学习器应“好而不同”——如何产生并结合“好而不同”的个体学习器,恰是集成学习研究的核心。

目前集成学习方法大致分为两类:

Boosting:个体学习器之间存在强依赖,必须串行生成的序列化方法

Bagging:个体学习器不存在强依赖、可以同时并行生成的并行化方法

Boosting

Boosting是一族可将弱学习器提升为强学习器的算法:先从初始训练集训练出一个基学习器,再根据基学习器的表现对训练样本分布进行调整,是的先前基学习器做错的训练样本在后续受到更多关注,

然后基于调整后的样本分布来训练下一个基学习器;如此重复,知道学习器数量达到事先指定的值T,最终将这T个基学习器进行加权组合。(adaboost)

原文地址:https://www.cnblogs.com/HITSZ/p/7761406.html