GBDT（Gradient Boosting Decison Tree）：梯度提升决策树
GBDT 的弱学习器通常使用 CART 回归树
GBDT 的核心在于，每棵树学的是之前所有树的结论和的残差，比如 A 的年龄 18 岁，第一棵树依据特征值预测 12 岁，差 6 岁，即残差为 6 岁，那么第二棵树把 A 的年龄 Y 设为 6 岁，如果第二棵树依据特征值预测 6 岁，那累加两棵树的结论就是 A 的真实年龄，如果第二棵树的结论是 5 岁，则 A 仍存在 1 岁的残差，第三棵树里 A 的年龄 Y 变成 1 岁，然后继续训练下一棵树
设有样本数据 (
ormalsize (x_{i}, y_{i})_{i=1}^{n})
第 j 棵树记为 (
ormalsize h_{j}(x))
则由 m 棵树组成的 GBDT 输出为
(large y_{i} = f_{m}(x_{i}) = f_{m-1}(x_{i}) + h_{m}(x_{i}) = sum_{j=1}^{m}h_{j}(x_{i}))
注意：每棵树都接收相同的 X 值
通常 GBDT 使用负梯度构建下一棵树要预测的 Y 值，设 ( y_{i(m)}) 是第 m 棵树要预测的值
(Large y_{i(m)} = -frac{partial L(y_{i}, f_{m-1}(x_{i}))}{partial f_{m-1}(x_{i})})
这样得出的 Y 值也称为伪残差
以上的简单例子用的是均方损失函数
(large L(y_{i}, f_{m-1}(x_{i})) = frac{1}{2}(y_{i} - f_{m-1}(x_{i}))^{2})
对应的负梯度是
(Large y_{i(m)} = -frac{partial L(y_{i}, f_{m-1}(x_{i}))}{partial f_{m-1}(x_{i})}=y_{i} - f_{m-1}(x_{i}) = y_{i}-sum_{j=1}^{m-1}h_{j}(x_{i}))
这个伪残差结果刚好是真残差
Shrinkage（收缩）
给每棵树一个权值进行加权求和，Shrinkage 能减少过拟合是经验证明的，但没有理论证明
(large y_{i} = f_{m}(x_{i}) = f_{m-1}(x_{i}) + alpha_{m}h_{m}(x_{i}) = sum_{j=1}^{m}alpha_{j}h_{j}(x_{i}))
分类
GBDT 本质是回归问题，要用于分类需要将分类转化为回归
比如通过逻辑回归函数将结果限制在 0~1 之间，代表两种分类的概率