凸集 凸函数 凸优化 概念

凸集

• 集合C内任意两点间的线段也均在集合C内，则称集合C为凸集。

• (forall x_1, x_2 in C, forall heta in [0,1], 则 x= heta * x_1 + (1- heta)*x_2 in C)

• 

凸函数定义

• f为定义在区间I上的函数，若对I上的任意两点(x_i, x_2)和任意(lambda in (0,1)) ​有(f(lambda x_i + (1-lambda)x_2)leq lambda f(x_i)+(1-lambda)f(x_2))

• 将(leq)换成<也成立则严格凸函数。

几个性质

• 性质1： 设 (f ⊆ R^n–> R^1)，C是凸集，若f是凸函数，则对于∀β，证明下面水平集(D_β)是凸集。 (D_eta = {x|f(x) leq eta, x in C})

• 性质2 : 凸优化问题的局部极小值是全局极小值。

• 性质3： 若f一阶可微，则函数f为凸函数当且仅当f的定义域domf为凸集，且 (forall x,y in domf, f(y)geq f(x) + riangledown f(x)^T(y-x))

  

• 性质4：若f二阶可微，则函数f为凸函数当且仅当f的定义域domf为凸集，且( riangledown ^2f(x)succeq 0)

  • 若f为一元函数，上式表示二阶导大于0
  • 若f为多元函数，上式表示二阶导Hessian矩阵半正定。

Hessian矩阵

• 即二阶导数矩阵
• 多元函数的Hessian矩阵
  • 
• hessian矩阵正定：
  • 函数的二阶偏导数恒>0
  • 函数的变化率（一阶导数）始终处于递增状态
  • 函数为凸

正定 半正定

• 正定：(f(x_1,x_2,...,x_n)=x^TAx)，（所有的二次齐次式都可以写成这个形式）如果对任意的(x eq 0)均有(f(x)>0)，则称(f(x))为正定二次型，同时称(A)为正定矩阵。

• 正定：对于n阶实对称矩阵A，下列条件是等价的：

  • A是正定矩阵；
  • A的一切顺序主子式均为正；
  • A的一切主子式均为正；
  • A的特征值均为正；
  • 存在实可逆矩阵C，使A=C′C；
  • 存在秩为n的m×n实矩阵B，使A=B′B；
  • 存在主对角线元素全为正的实三角矩阵R，使A=R′R

• 半正定：设A是n阶实对称矩阵，则下列的条件等价：

  1.A是半正定的。

  2.A的所有主子式均为非负的。

  3.A的特征值均为非负的。

  4.存在n阶实矩阵C，使A=C′C.

  5.存在秩为r的r×n实矩阵B，使A=B′B.

凸优化问题

• OPT，convex optimization problem，凸集中的凸函数最优化的问题。

• 基本形式：(minimize f_0(x), xin R^n)

  (subject to f_i(x)leq0,i=1...m; h_(x)=0,j=1...p)

• 优化变量 (xin R^n)

• 不等式约束 (f_i(x)leq 0)

• 等式约束 (h_j(x)=0)

• 无约束优化 (m=p=0)

• 优化问题的域 (D=cap_{i=0}^m domf cap cap_{j=1}^p domh_j)

• 可行点（解）：(xin D)，且满足约束条件

• 可行域：所有可行点的集合

• 最优化值 (p^* = inf{f_0(x)|f_i(x)leq0,i=1...m,h_j(x)=0,j=1...p})

• 最优化解 (p^*=f_0(x^*))

• 凸优化问题的重要性质：

  • 可行域为凸集
  • 局部最优解即全局最优解