前言
本来应该是年后就要写的一篇博客，因为考完试后忙了一段时间课设和实验，然后回家后又在摸鱼，就一直没开动。趁着这段时间只能呆在家里来把这些博客补上。在之前的文章中介绍了 Random Forest 和 AdaBoost，这篇文章将介绍介绍在数据挖掘竞赛中，最常用的算法之一 —— GBDT（Gradient Boosting Decision Tree）。
GBDT
原理
GBDT 实际上是 GBM（Gradient Boosting Machine） 中的一种，采用 CART 树作为基学习器，所以称为 GBDT。与 AdaBoost 一样，GBDT 为 Boosting 家族中的一员。其表达式为
其中(T(x;Theta_m))表示决策树；(Theta_m)为决策树参数；M为树的个数。
这里来回顾下 AdaBoost，AdaBoost 通过不断调整样本权重，使得上一次分类错误的样本权重变大，最后训练出 m 个弱分类器，然后对 m 个弱分类器加权结合形成强分类器。
而 GBDT 又是另一思想，当我们假设前一轮迭代得到的学习器为 (f_{m-1}(x)) ，损失函数为 (L(y, f_{m-1}(x))) ，那么，本轮迭代的目标就是使损失函数 (L(y, f_{m-1}(x) + h_m(x))) 的值尽可能的小。
我们先将损失函数假设为最常用的平方损失
令 (r = y - f_{m-1}(x)) ，那么第 m 步的目标就是最小化 (L(y, f_m(x)) = frac{1}{2}(y-f_m(x))^2=frac{1}{2}(r-h_m(x))^2)
到这里，似乎发现了点什么，我们对损失函数求导，发现：
看出什么来了没？对其取个负号就变成 (r-h_m(x)) ，即我们常说的残差 ，所以，当为平方损失函数时，弱学习器拟合的目标为之前拟合结果的残差。那到这里代码就很好写了，但是，我们实际中有很多其它的损失函数，而且在很多问题中，这些损失函数比平方损失要好得多。那这时候，如果我们还采用同样的思路，那就没办法像上面那样直接展开并拟合残差了，这时候该怎么办？
这里别忘了，我们最终的目标是使得 (L(y, f_m(x))) 最小，那么只需要保证 (L(y, f_{m-1}(x)+h_m(x))) 的值比 (L(y, f_{m-1}(x))) 小就好了。
即
检验大一高数学的怎么样的时候到了 orz
我们前面说了第 m 轮迭代的损失函数为 (L(y, f_{m-1}(x) + h_m(x))) ，换一种形式，写成 (L(f_{m-1}(x) + h_m(x))) ，对其进行一阶泰勒展开，得
所以，我们只需使得满足
那我们的 (h_m(x)) 到底要拟合什么呢？别忘了，我们是要求梯度的，在这里我们已知的是 (L'(f_{m-1}(x))) ，我们肯定是根据上一次的拟合的结果来拟合这一次的结果，所以，要使得结果最大，自然就是梯度方向。那么 (h_m(x)=-L'(f_{m-1}(x))) ， 这样原先的 (r) 也就变成了梯度。这里如果把损失函数看作是平方损失，我们得到的结果也恰好就是我们所说的残差！！
此时也总算明白了之前面腾讯的时候我说 GBDT 是拟合残差的时候面试官让我再回去重新康康这个算法的原因了。
算法步骤
输入: 训练数据集 (T = {(x_1, y_1),(x_2, y_2), ..., (x_N, y_N)}, x_i in X subset R^n, y_i in Y subset R); 损失函数 L(y,f(x)),树的个数M.
输出: 梯度提升树(F_M(x))
(1) 初始化 (f_0(x) = argmin_c Sigma_{i=1}^N L(y_i,c)).
(2) 对 (m=1,2,...,M)
(a) 对(i =1,2,...,N),计算, (r_{mi} = - [frac{partial L(y_i, f(x_i))}{partial f(x_i)}]_{f(x) = F_{m-1}(x)}).
(b) 拟合残差(r_{mi})学习一个回归树,得到(f_m(x)).
(c) 更新(F_m(x) = F_{m-1}(x) + f_m(x)).
(3) 得到回归问题提升树 (F_M(x) = Sigma_{i=0}^M f_i(x))
代码
这里代码是采用了平方损失的方法来写的，且解决的是分类问题
def sigmoid(x):
"""
计算sigmoid函数值
"""
return 1 / (1 + np.exp(-x))
def gbdt_classifier(X, y, M, max_depth=None):
"""
用于分类的GBDT函数
参数:
X: 训练样本
y: 样本标签，y = {0, +1}
M: 使用M个回归树
max_depth: 基学习器CART决策树的最大深度
返回:
F: 生成的模型
"""
# 用0初始化y_reg
y_reg = np.zeros(len(y))
f = []
for m in range(M):
# 计算r
r = y - sigmoid(y_reg)
# 拟合r
# 使用DecisionTreeRegressor，设置树深度为5，random_state=0
f_m = DecisionTreeRegressor(max_depth=5, random_state=0)
# 开始训练
f_m.fit(X, r)
# 更新f
f.append(f_m)
y_reg += f_m.predict(X)
def F(X):
num_X, _ = X.shape
reg = np.zeros((num_X))
for t in f:
reg += t.predict(X)
y_pred_gbdt = sigmoid(reg)
# 以0.5为阈值，得到最终分类结果0或1
one_position = y_pred_gbdt >= 0.5
y_pred_gbdt[one_position] = 1
y_pred_gbdt[~one_position] = 0
return y_pred_gbdt
return F
小节
到这里 GBDT 也就讲完了，从决策树 ID3 开始一直到 GBDT，后面终于要迎来最开始想要梳理的数据挖掘的两大杀器 XGBoost 和 LightGBM 了，下一篇将介绍 XGBoost。