随机森林

随机森林

1、算法概述

从数据集中按照Bootstraping的方式抽取k个样本，共抽取n次，使用这n个数据集可以训练n个决策树。

训练决策树时可以随机抽取总特征数一定比例的特征，作为进行决策树的训练时的特征划分集，未选的特征将不再考虑。

最终每个样本的分类结果经根据这n个决策树投票决定。

2、调参

from sklearn.ensemble import RandomForestClassifier

RandomForestClassifier(n_estimators=10,  criterion='gini', max_depth=None,  min_samples_split=2,  min_samples_leaf=1, min_weight_fraction_leaf=0.0,  max_features='auto',  max_leaf_nodes=None,  min_impurity_decrease=0.0, min_impurity_split=None,  bootstrap=True,  oob_score=False,  n_jobs=1,  random_state=None,  verbose=0,  warm_start=False, class_weight=None)¶

1）max_features是分割节点时考虑的特征的随机子集的大小。 这个值越低，方差减小得越多，但是偏差的增大也越多。 根据经验，回归问题中使用 max_features = n_features ，分类问题使用 max_features = sqrt（n_features） （其中 n_features 是特征的个数）是比较好的默认值。 

2）max_depth = None 和 min_samples_split = 2 结合通常会有不错的效果（即生成完全的树）。 请记住，这些（默认）值通常不是最佳的，同时还可能消耗大量的内存，最佳参数值应由交叉验证获得。

3）另外，请注意，在随机森林中，默认使用自助采样法（bootstrap = True）。

4）当使用自助采样法方法抽样时，泛化精度是可以通过剩余的或者袋外的样本来估算的，设置 oob_score = True 即可实现。

5）并行化

这个模块还支持树的并行构建和预测结果的并行计算，这可以通过n_jobs参数实现。

3、特征的重要性评估

特征对目标变量预测的相对重要性可以通过（树中的决策节点的）特征使用的相对顺序（即深度）来进行评估。

实际上，对于训练完成的模型这些估计值存储在 feature_importances_ 属性中。 这是一个大小为 (n_features,) 的数组，其每个元素值为正，并且总和为 1.0。一个元素的值越高，其对应的特征对预测函数的贡献越大。