提升树总结

1、提升方法是将弱学习算法提升为强学习算法的统计学习方法。在分类学习中,提升方法通过反复修改训练数据的权值分布,构建一系列基本分类器(弱分类器),并将这些基本分类器线性组合,构成一个强分类器,代表性的提升方法是adaboost,adaboost模型是弱分类器的线性组合

2、adaboost算法的特点是通过迭代每次学习一个基本分类器,每次迭代中,提高那些被前一轮分类器错误分类数据的权值,而降低那些被正确分类的数据的权值。最后,adaboost将基本的分类器的线性组合作为强分类器,其中给分类器误差率小的基本分类器以大的权值,给分类误差率大的基本分类器以小的权值。

3、adaboost的训练误差分析表明,adaboost的每次迭代可以减少他在训练数据集上的分类误差率,这说明了它作为提升方法的有效性。

4、adaboost算法的一个个解释是该算法实际是前向分布算法的一个实现,在这个方法里,模型是加法模型,损失函数是指数损失,算法是前向分布算法

5、提升书是以分类树和回归树为基本分类器的提升方法,提升树被认为是统计学习中最有效的方法之一

原文地址:https://www.cnblogs.com/zhibei/p/9343605.html