支持向量机SVM知识点概括

1. SVM

  支持向量机学习的目标是找到一个分离超平面,能将实例分到不同的类。间隔最大化保证了了超平面的唯一性,即不仅将正负实例点分开,对离超平面最近的点,也有足够大的确信度将它们分开。

2. 什么是函数间隔和几何间隔?

  函数间隔y(wx+b):|wx+b|表示点x距离超平面的远近,wx+b的符号与y的符号是否一致表示分类是否正确,所以y(wx+b)就表示分类的正确性和确信度。

  几何间隔:在函数间隔的基础上,对法向量w加约束,(如规范化,||w||=1),就成了几何间隔,即实例点到超平面的带符号的距离。

3. 什么是支持向量?

  训练数据集的样本中,与分离超平面距离最近的样本点实例。其他点去掉也不影响解。

4. 超平面如何确定的?

  max(几何间隔) -> max(函数间隔/||w||) -> min(1/||w||2),即求解凸二次优化问题(最大间隔法求解)或应用拉格朗日对偶性 -> 求解对偶问题(SMO算法)。

5. 转换成对偶问题的好处?

  对偶问题易求解&&引入核函数

6. 处理线性不可分数据

  离异点表示部分实例点不满足间隔大于1的约束,需要引入松弛变量,将硬间隔最大化修改为软间隔最大化。

7. 核函数作用

  处理线性分类问题。例如需要用超曲面来分开所有实例点。原理是使用一个变换将原空间的数据映射到新空间。

8. 核函数与超平面关系 

  在处理非线性分类问题的时候,实例点无法用线性模型正确分开,需要使用和核函数将数据映射到一个新的空间,在新空间里用线性分类学习方法求得超平面。

原文地址:https://www.cnblogs.com/xiaoyun94/p/6740081.html