含有不等式约束的优化问题—

含有不等式约束的优化问题——KKT条件

优化问题：

$egin{array}{l} min imize{ m{ }}f(x)\ s.t{ m{ }}\ h(x) = 0\ { m{ }}g(x) le 0 end{array}$

其中， $f:{R^n} o R,h:{R^n} o {R^m},m le n,g:{R^n} o {R^p}$

定义：对于一个不等式约束 ${g_{_j}}(x) le 0$ ，如果 ${g_{_j}}({x^ * }) = 0$ ，那么称不等式约束是 ${x^ * }$ 处起作用的约束。

定义：设 ${x^ * }$ 满足 $h({x^ * }) = 0,g({x^ * }) le 0$ ，设 $J({x^*})$ 为起作用不等式约束的下标集：

$J({x^*}) uildrel Delta over = { j:{g_j}({x^*}) = 0}$

如果向量： $abla {h_i}({x^ * }), abla {g_j}({x^*}),1 le i le m,j in J({x^*})$ 是线性无关的，则称 ${x^ * }$ 是一个正则点。

下面给出某个点是局部极小点的一阶必要条件（即如果是极小点，那么必然满足下列条件），称为KKT条件：

设 $f,h,g in {C^1}$ ，设 ${x^ * }$ 是 $h(x) = 0,g(x) le 0$ 的一个正则点和局部极小点，使得以下条件成立：

$egin{array}{l} {mu ^ * } ge 0\ abla f({x^ * }) + {lambda ^ * }^T abla h({x^ * }) + {mu ^ * }^T abla g({x^ * }) = {0^T}\ {mu ^ * }^Tg({x^*}) = 0 end{array}$

${lambda ^ * } in {R^m}$ 为拉格朗日乘子向量， ${mu ^ * } in {R^p}$ 为KKT乘子向量。