文本记录深度学习常用的概率论知识。
基础概念
- 随机变量：概率论通过随机试验来研究随机现象中的统计规律性。可是随机试验需要大量重复，为了更好地去表示整个统计规律性，研究时借助了随机变量这一概念，于是有关随机事件的计算就变成随机变量的计算。随机变量分连续型随机变量（continuous variables）和离散型随机变量（discrete variables）。
- 概率分布函数：函数(F(x) = P(X leq x))称为随机变量(X)的概率分布函数。
- 连续型随机变量的概率密度函数f(t)：(F(x) = int_{-infty}^{x}f(t)dt)
- 边缘概率
- 条件概率：(P(AB) = P(A)P(B|A) = P(B)P(A|B))，其中(P(A), P(B) > 0)
期望、方差、协方差、协方差矩阵
1. 期望
- 离散型随机变量的期望：(E(X) = sum_{k=1}^{infty}x_k p_k)
- 连续型随机变量的期望：(E(X) = sum_{-infty}^{infty}xf(x)dx)。
性质：
- (E(X) + E(Y) = E(X+Y))
- 如果(X)和(Y)独立，(E(X)E(Y)=E(XY))
2. 方差
刻画了随机变量取值的波动大小：方差越小，越靠近均值；方差越大越远离均值。
[Var(f(x)) = Bbb{E}[(f(x) - Bbb{E}[f(x)])^2]
]
3. 协方差
刻画了两个随机变量的线性相关性，绝对值大小刻画了相关性大小，0表示不相关；正负表示了正相关和负相关；
[Cov(f(x), g(y)) = Bbb{E}[(f(x) - Bbb{E}[f(x)])(g(y) - Bbb{E}[g(y)])]
]
协方差矩阵
常见概率分布
- 伯努利分布
- 多重伯努利分布
- 高斯分布（正态分布）
- 指数分布和拉普拉斯分布
- 狄拉克分布（Dirac Distribution）和经验分布（Empirical Distribution）
- 混合分布和高斯混合模型
常见函数的有用属性
- logistic sigmoid
- softplus function
- 贝叶斯定理
连续随机变量的技术细节
略
- quantum [ˈkwɑːntəm] 量子
- scenario [səˈnærioʊ] 设想，可能发生的情况；剧情梗概
- brittle [ˈbrɪtl] 易碎的；脆弱的
- prone [proʊn] likely to suffer from sth or to do sth bad