一个错误的观点:SVM会得到相同的结果即使训练集中只包含支撑向量【转】

转自 http://hi.baidu.com/liuzhiliangliang/blog/item/bfbb5b277cf05c1c918f9d8c.html#0

博主提出的观点如题目,感觉这是SVM的基本问题,却在论文中被忽视,只能说悲剧。

不说了,原文奉上:

在有些关于SVM的论文中,一些作者认为SVM只依赖于支撑向量集,所以:即使训练样本中只包含支撑向量集,也可以得到与之前一样的SVM模型。这种观点是错误的,因为支撑向量集的产生,是所有样本共同作用的结果,如果缺少任何一个样本都有可能产生不同的SVM模型。所谓支撑向量,只是说是用该训练集得到的SVM模型在进行决策时只依赖于此支撑向量集,其它的非支撑向量不参与决策。

注意:非支撑向量不参与决策,但是参与了模型训练,因此他们也是必不可少的,切不可卸磨杀驴

下面用实例来佐证以上的观点。

load fisheriris

xdata = meas(51:end,3:4);

group = species(51:end);

svmStruct = svmtrain(xdata,group,'showplot',true);

 

如果只用以上模型中的支撑向量,再重新训练SVM,将得到一个不一样的SVM模型。

xdata_sv = xdata(svmStruct.SupportVectorIndices,:);

group_sv = group(svmStruct.SupportVectorIndices);

hold on;

svmStruct1 = svmtrain(xdata_sv,group_sv,'showplot',true);

 

通过上图可见:决策面发生了变化(示意为蓝色粗线),而且支撑向量发生了改变,即有些在之前SVM模型中充当支撑向量的点,在新的SVM模型中不再担当此重任。---来自亮丽的风景线

原文地址:https://www.cnblogs.com/xiangshancuizhu/p/2398214.html