SVM(支持向量机)（二）—Lagrange Duality（拉格朗日对偶问题）

（整理自AndrewNG的课件，转载请注明。整理者：华科小涛@http://www.cnblogs.com/hust-ghtao/）

SVM有点让人头疼，但还是要弄明白。把这一大块搞懂了，会很有成就感的哦！今天先不谈SVM，先来说一下如何解决带约束的优化问题。

假设我们有如下问题需要求解：

，这是一个带有等式约束的优化问题，下面让我们用拉格朗日乘数法（THE Method of Lagrange multipliers）来解决这个

问题，首先定义拉格朗日函数：

$L\left( {w,\beta } \right) = f\left( w \right) + \sum\limits_{i = 1}^l {{\beta _i}{h_i}\left( w \right)}$ ，其中 ${{\beta _i}}$ 就被成为拉格朗日乘子，然后就令 $L\left( {w,\beta } \right)$ 的偏导分别为0就可求得参数：

。这种方法就是我们学过的用拉格朗日乘数法求函数的极值。

下面，让我们将这个问题扩展一下，引入不等式约束：

，同样我们定义更一般的拉格朗日函数：

$L\left( {w,\alpha ,\beta } \right) = f\left( w \right) + \sum\limits_{i = 1}^k {{\alpha _i}{g_i}\left( w \right)} + \sum\limits_{i = 1}^l {{\beta _i}{h_i}\left( w \right)}$ ，其中 ${{\alpha _i}}$ 和 ${{\beta _i}}$ 称为拉格朗日乘子。