梯度提升树-负梯度和残差的理解

提升树:提升方法采用加法模型(基函数的线性组合)与前向分布算法,以决策树为基函数的提升方法为提升树。

    对于一般的回归树,采用平方误差损失函数,这时根据前向分布每次只需要达到最优化,就能保证整体上的优化。由于平方误差的特殊性,可以推导出每次只需要拟合残差(真实值-预测值)。

梯度提升树:而对于其他损失函数,提出了利用负梯度表示残差的近似值。

为什么采用损失函数的负梯度?

L(y,f(x))中将f(x)看成一个参数,为了使L损失函数最小,采用梯度下降的方法即:

f(x)_m=f(x)_m-1-(dL/df(x))//与一般的梯度下降法相同

而f(x)_m=f(x)_m-1+T(x;Q)//Q为前向分布法每次得到这棵树的参数,T(x;Q)为训练的新树

所以有f(x)_m-1+T(x;Q)=f(x)_m-1-(dL/df(x))

所以有T(x;Q)=-(dL/df(x))

左边为预测值,右边为真实值,所以整个过程就变成了每次拟合损失函数的负梯度的值。

所以可以将这种方法看成一般损失函数的情况,而平方损失是特殊的情况(拟合残差)。

原文地址:https://www.cnblogs.com/mdumpling/p/8252521.html