决策树
信息熵： -p(x) * log p(x)
ID3：信息增益： 上层熵值 - 下层熵值
C4.5：信息增益率：信息增益/自身熵值
评价函数：叶子节点熵值之和最小
预剪枝：在构建决策树的过程中提前停止
后剪枝：在决策树构建好后才开始裁剪
随机森林 构造多个决策树 取众数（分类）或者平均值（回归）
随机森林 拆开理解 森林：一个样本集训练多个决策树 随机：特征随机 样本数量随机
决策树
信息熵： -p(x) * log p(x)
ID3：信息增益： 上层熵值 - 下层熵值
C4.5：信息增益率：信息增益/自身熵值
评价函数：叶子节点熵值之和最小
预剪枝：在构建决策树的过程中提前停止
后剪枝：在决策树构建好后才开始裁剪
随机森林 构造多个决策树 取众数（分类）或者平均值（回归）
随机森林 拆开理解 森林：一个样本集训练多个决策树 随机：特征随机 样本数量随机