拉格朗日乘子法与KKT条件 && SVM中为什么要用对偶问题

参考链接:

拉格朗日乘子法和KKT条件

SVM为什么要从原始问题变为对偶问题来求解

为什么要用对偶问题

写在SVM之前——凸优化与对偶问题

1. 拉格朗日乘子法与KKT条件

2. SVM 为什么要从原始问题变为对偶问题来求解

1. 首先是我们有不等式约束方程,这就需要我们写成min max的形式来得到最优解。而这种写成这种形式对x不能求导,所以我们需要转换成max min的形式,这时候,x就在里面了,这样就能对x求导了。而为了满足这种对偶变换成立,就需要满足KKT条件(KKT条件是原问题与对偶问题等价的必要条件,当原问题是凸优化问题时,变为充要条件)。

2. . 对偶问题将原始问题中的约束转为了对偶问题中的等式约束
3. 方便核函数的引入
4. 改变了问题的复杂度。由求特征向量w转化为求比例系数a,在原始问题下,求解的复杂度与样本的维度有关,即w的维度。在对偶问题下,只与样本数量有关。

原文地址:https://www.cnblogs.com/shiyublog/p/10580603.html