机器学习之凸优化基础一

2015-09-09 今天买的凸优化刚到。从今天开始学习一些基础的概念。不知道2年的时间能不能学会并且解决实际的问题。

线性函数需要严格满足等式,而凸函数仅仅需要在a和b取特定值得情况下满足不等式。因此线性规划问题也是凸优化问题,可以将凸优化看成是线性规划的扩展。

image

1.放射集

定义:过集合C内任意两点的直线均在集合C内,则称集合C为仿射集。

例子:直线、平面、超平面

2.仿射包

定义:包含集合C的最小仿射集。

image

仿射维数:仿射包的维数。

三角形的仿射维数为2.

线段的仿射维数为1.

球的仿射维数为3.

3.凸集

定义:集合C内任意两点间的线段均在集合C内,则称集合C为凸集。

image

image

image

4.仿射集和凸集的关系

因仿射集的条件比凸集的条件强,所以,仿射集必然是凸集。

5.凸包:

包含集合C的最下凸集叫做集合C的凸包

image

6.锥(Cones)

image

锥的举例:过原点的射线、射线族、角

image

7.锥包

image

8.超平面和半空间

超平面:hyperplane

image

image

半空间halfspace:

image

image

9.欧式球和椭球

欧式球:

image

椭球:

image

10.范数球和范数锥(欧式空间的推广)

范数:

image

范数球:

image

范数锥:

image

11. 多面体

image

image

12.保持凸性的运算

集合的交运算

仿射变换:f= Ax+b

image

透视函数变换

线性分式函数变换

image

image

image

image

13.分隔超平面

image

image

支撑向量机用到了分隔超平面

image

image

14.支撑超平面(切面)

image

image

15.凸函数

image

image

倒三角就是指的高维的求导。读作nabla

二阶可微

image

凸函数举例

image

16. 凸函数与凸集

image

 

17. Jensen不等式:若f 是凸函数。其实就是凸函数的定义

image

image

18.保持函数凸性的算子

image

19.凸函数的逐点最大值

image

image

凹函数

原文地址:https://www.cnblogs.com/chaoren399/p/4795665.html