22(8).模型融合---RegionBoost

在adaboost当中,样本的权重alpha是固定的,蓝色五角星所在的圈中3个○分错了,红色五角星所在的圈中4个×和1个○都分对了,很容易让人想到,这个模型,对于红色位置的判断更加可信。

 

 动态权重,每个x都会有特定的权重,不同的分类器对于不同的样本的权重是不一样的

base classifer:分○和△

competency predictor:分对和分错的样本

将分错的归到一处,利用KNN的方法,比如要测试一个样本xi和5个最近的训练样本,计算这个模型在5个样本上面分的对还是错,如果那5个分的都对,那这个模型比较靠谱。

但欧氏距离在高维空间

L1:曼哈顿距离

L0.5:分式距离

 

如上图所示,adaboost收敛性要好于Regionboost

但regionboost的测试误差要低于adaboost

论文出处:

参考文献:

【1】视频:https://www.bilibili.com/video/av38555100/?p=5

原文地址:https://www.cnblogs.com/nxf-rabbit75/p/10969278.html