Boosting 简单介绍

前面介绍了Adaboost,知道了Adaboost是损失函数为指数函数的Boosting算法。那么Boosting还包括了以下几个:

损失函数名称 损失函数 算法
平方差(Squared error) $frac{1}{2}(y_i-f(x_i))^{2}$ L2 Boosting
绝对值差(Absolute error) $left | y_i-f(x_i) ight |$ Gradient Boosting
指数损失(Exponential loss) $exp(-widetilde{y_i}f(x_i))$ Adaboost
对数损失(Log loss) $log(1+exp(-widetilde{y_i}f(x_i)))$ LogitBoost

其中:

$f(x)=w_0+sum_{m=1}^{M}w_mphi (x)$

$widetilde{y_i}in {-1, +1}$

$y_i in {0, +1}$

除了Adaboost外,其余三个还没学习。写在这里以备后续了解boosting算法。

原文地址:https://www.cnblogs.com/liuq/p/9947764.html