提升方法的基本思想是由多个弱学习算法出发，反复学习，得到一系列的弱分类器，然后组合这些弱分类器，构成一个强分类器。思考一下，最开始得到的弱分类器其实是误分类较高的分类器，那么为了得到下一个分类器，就必须使被误分类的数据权重增大，被正确分类的数据的权重减小，才会使得一系列的弱分类器组合后的准确度越来越高；而且，对每一个分类器而言，它们的分类误差率也是有所不同的，同样的，可以采取改变权重的方法来对弱分类器进行组合。
算法过程如下：
Adaboost算法的训练误差分析表明，它每次迭代可以减少在训练数据集上的分类误差率，即说明了它作为提升方法的有效性；算法的另外一个解释是前向分布算法的一个实现，模型是加法模型，损失函数是指数损失，具体可以看看书上的证明。