2020.4.13 机器学习相关数学基础

1)贴上视频学习笔记,要求真实,不要抄袭,可以手写拍照。

2)用自己的话总结“梯度”,“梯度下降”和“贝叶斯定理”,可以word编辑,可做思维导图,可以手写拍照,要求言简意赅、排版整洁。

答:

(1)

1)P2 概率论与贝叶斯先验

 

重要截图:

 

  

2)P3 矩阵和线性代数

 

重要截图:

  

  

 

  

  

(2)

1)梯度:

梯度就是类似楼梯一样,有上下之分,往着一个方向就是上升或者下降,有个最高点或最低点,就是最大值或最小值。

梯度就是一个向量即有方向有大小,也是一个导数。函数f的梯度方向是函数f的值增长最快的方向,最陡的方向,换句话说,在一个场中,函数在某一点处的梯度即为此点方向导数最大值。

(2)梯度下降:

  情况1:单调下降,导数为负(梯度为负),要想找到函数的最小值所对应的自变量的值(曲线最低点对应x的值)应该水平向右滑,也就是让x增大,此时随着x增大,函数值是减小(下降)的。

  情况2:单调上升,导数为正(梯度为正),要想找到函数的自变量的值(曲线最低点对应x的值)应该水平向左滑啦,也就是让x减小,此时随着x减小,函数值减小的。

  情况1和情况2其实都反映了梯度下降的过程:根据梯度(导数)的符号来判断最小值点x在哪;让函数值下降(变小)。梯度下降的作用其实就是找到函数的最小值所对应的自变量的值(曲线最低点对应x的值)。

3)贝叶斯定理:

在条件概率和全概率的基础上,很容易推导出贝叶斯公式:

看上去贝叶斯公式只是把 A 的后验概率转换成了 B 的后验概率 + A 的边缘概率的组合表达形式,因为很多现实问题中PA|B PAB很难直接观测,但是PB|A PA 却很容易测得,利用贝叶斯公式可以方便我们计算很多实际的概率问题。

原文地址:https://www.cnblogs.com/Azan1999/p/12689542.html