2.机器学习相关数学基础 4/12

1、学习笔记

(1)概率论与贝叶斯先验

      

      

      

  · 一些重要截图:

      

      

      

      

      

(2)矩阵和线性代数

      

      

  · 一些重要截图:

      

      

      

      

      

      

      

2、用自己的话总结“梯度”,“梯度下降”和“贝叶斯定理”。

(1)梯度:

  简单的来说,梯度就是一个向量即有方向有大小,也是一个导数。函数f的梯度方向是函数f的值增长最快的方向,最陡的方向,换句话说,在一个场中,函数在某一点处的梯度即为此点方向导数最大值。

(2)梯度下降:

      

  情况1:单调下降,导数为负(梯度为负),要想找到函数的最小值所对应的自变量的值(曲线最低点对应x的值)应该水平向右滑,也就是让x增大,此时随着x增大,函数值是减小(下降)的。

  情况2:单调上升,导数为正(梯度为正),要想找到函数的自变量的值(曲线最低点对应x的值)应该水平向左滑啦,也就是让x减小,此时随着x减小,函数值减小的。

  情况1和情况2其实都反映了梯度下降的过程:①根据梯度(导数)的符号来判断最小值点x在哪;②让函数值下降(变小)。梯度下降的作用其实就是找到函数的最小值所对应的自变量的值(曲线最低点对应x的值)。

(3)贝叶斯定理:

  贝叶斯定理是关于随机事件A和B的条件概率:

    贝叶斯定理

  其中P(A|B)是在 B 发生的情况下 A 发生的可能性。

  比如举个例子来通过实践,更好的了解贝叶斯定理:

    设有两个盒子,A盒子里有7个红球+3个白球,B盒子里有1个红球+9个白球,现在从两个容器里随便抽一个球,问红球来自A容器的概率是多少?

    那么这个例子就要用到贝叶斯公式,假设抽出红球为事件B,来自A容器为事件A,则P(B)=8/20,P(A)=1/2,P(B|A)=7/10(容器A中抽中红球概率),则红球来自容器A,也就是P(A|B)=(7/10)*(1/2)/(8/20)=7/8。      

原文地址:https://www.cnblogs.com/jwwzone/p/12684355.html