集成学习

集成学习

集成学习通常是通过构建多个学习器来完成学习任务。

• 同质集成 ： 集成中只包含同种类型的学习器；
• 异质集成 ： 集成中的个体学习器是不同的种类；

问题

一般经验中，把一些好与坏的学习器集合到一起，最终的效果是比好的要差一点，比最差的要好一点；

问题：如何获得比最好的单一学习器更好的效果

集成学习的核心思路： 要获得好的集成，个体学习器应该好而不同，即准确性和多样性；

分类

• 个体学习器存在强依赖、必须串行生成的序列化方法，如 Boosting；
• 不存在强依赖，可同时生成的并行化方法，如 Bagging 和随机森林；

Boosting

将一组弱学习器提升为强学习器的方法。主要关注于降低偏差。

工作机制： 先从初始训练集训练出一个基学习器，再根据基学习器的表现对训练集的样本分布进行调整，使得先前基学习器做错的样本在后续受到更多关注，使得基于调整后的样本分布来训练下一个学习器；如此重复，直至达到T个学习器；最后进行加权求和；

代表算法 AdaBoost:

• boost指集成方法中的提升方法，每一轮迭代寻找一个合适的弱学习器添加到模型中；
• adaptive指所有的样本都有自己的权重，初始化时一致。每一轮迭代，我们要更新所有样本的权重，模型正确判别的样本权重减小，而错误判别的样本权重增加。这就是 Adaboost 的核心。

• 分类器的权重如何更新？
• 样本分布如何更新？

Bagging 和 随机森林

主要是关注模型的多样性，实现手段就是将大的数据集采样为小的数据集，每个数据集去学习一个分类器；

Bagging

基本流程：采样出T个含有m个样本的训练集，基于每个训练集训练一个基学习器，再将这些基学习器进行结合。主要关注于降低方差，在易受样本扰动的学习器上效果更好。

算法流程如下：

随机森林

在以决策树为基学习器构建bagging的基础上，进一步在决策树的训练中引入随机属性选择。

结合策略

• 平均法
• 投票法
• 学习法，stacking

多样性

• 误差-分歧分解： (E=overline{E} -overline{A})

多样性度量

• 不合度量
• 相关系数度量，无关为0，正相关为正，负相关为负
• Q-统计量
• (kappa)-统计量，涉及两个概念：取得一致和偶然达成一致

多样性增强

对数据样本、输入属性、输出表示、算法参数进行扰动；