2014年斯坦福机器学习课程2-7
课程中主要介绍梯度下降算法找代价函数的最小值。我们知道梯度下降可以找到局部最优,
但不一定是全局最优。但如果convex function(凸函数),可以通过梯度下降找到全局最优解。
此时局部最优对应全局最优。于是恩达老师举了个凸函数的例子,弓形的曲面。但并没有具体
介绍凸函数的定义,只是说该曲面为凸函数,这就与大学时期学的高等数学中的凸函数定义有
些矛盾,如果没有记错定义的话完全相反。
如何判断是否是凸函数?
法一、求导
对于一元函数,通过二阶导数大于等于零来判断是凸函数。
对于多元函数,通过它的黑塞矩阵的正定性来判断,如果正定,则为凸函数
法二、分析函数结构
- 指数函数是凸函数;
- 对数函数是凹函数,然后负对数函数就是凸函数;
- 对于一个凸函数进行仿射变换,可以理解为线性变换,结果还是凸函数;
- 二次函数是凸函数(二次项系数为正);
- 高斯分布函数是凹函数;
- 多个凸函数的线性加权,如果权值是大于等于零的,那么整个加权结果函数是凸函数。