*Boosting*笔记

集成算法之boosting

集成方法
 1. Parallel methods:
  1. bagging
  2. Random Forest
 2. Sequence methods:
  1. Adaboost
  2. GBDT
  3. XGBoost

Boosting集成方法

1. 来源: 计算学习理论
2. 定义: Boosting是一族方法的统称
3. 特征: 让模型判断失败的样本在之后的训练中获得更多的关注; 反之给予更少的关注

Adaboost

1. 关键:
    1. 如何合理地更新训练集权重
    2. 如何判断弱模型总体的话语权