条件概率
条件概率 条件概率公式如下：
[P(A/B) = P(Acap B) / P(B)
]
条件概率的链式法则 由条件概率的定义，可直接得出如下的乘法公式：
设 (A, B) 是两个事件，并且 (P(A) > 0) ，则有：
[P(AB) = P(B|A)P(A)
]
一般地，用归纳法可证：若 (P(A_1A_2...A_n)>0) ，则有:
[P(A_1A_2...A_n)=P(A_n|A_1A_2...A_{n-1})P(A_{n-1}|A_1A_2...A_{n-2})...P(A_2|A_1)P(A_1) \
P(A_1A_2...A_n)=P(A_1)prod_{i=2}^{n}P(A_i|A_1A_2...A_{i-1})
]
独立性和条件独立性
独立性 两个随机变量 (x) 和 (y) ，概率分布表示成两个因子乘积形式，一个因子只包含 (x) ，另一个因子只包含 (y) ，两个随机变量相互独立(independent)。
事件独立时，联合概率等于概率的乘积。(P(XY)=P(X)P(Y)) ，事件 (X) 和事件 (Y) 独立。此时给定 (Z) ，(P(X,Y|Z) ot = P(X|Z)P(Y|Z)) 。
条件独立性 给定 (Z) 的情况下，(X) 和 (Y) 条件独立，当且仅当：
[Xot Y|Z iff P(X,Y|Z) = P(X|Z)P(Y|Z)
]
(X) 和 (Y) 的关系依赖于 (Z) ，而不是直接产生。
期望
期望 在概率论和统计学中，数学期望（或均值，亦简称期望）是试验中每次可能结果的概率乘以其结果的总和。它反映随机变量平均取值的大小。
- 线性运算：(E(ax+by+c) = aE(x)+bE(y)+c)
- 推广形式：(E(sum_{k=1}^{n}{a_ix_i+c}) = sum_{k=1}^{n}{a_iE(x_i)+c})
- 函数期望：设 (f(x)) 为 (x) 的函数，则 (f(x)) 的期望为：
- 离散函数：(E(f(x))=sum_{k=1}^{n}{f(x_k)P(x_k)})
- 连续函数：(E(f(x))=int_{-infty}^{+infty}{f(x)p(x)dx})
- 一般情况下，乘积的期望不等于期望的乘积。如果 (X) 和 (Y) 相互独立，则 (E(xy)=E(x)E(y)) 。
方差
方差 概率论中方差用来度量随机变量和其数学期望（即均值）之间的偏离程度。方差是一种特殊的期望。定义为：
[Var(x) = E((x-E(x))^2)
]
- (Var(x) = E(x^2) -E(x)^2)
- 常数的方差为 (0)
- 方差不满足线性性质
- 如果 (X) 和 (Y) 相互独立，(Var(ax+by)=a^2Var(x)+b^2Var(y))
协方差
协方差 协方差是衡量两个变量线性相关性强度及变量尺度。 两个随机变量的协方差定义为：
[Cov(x,y)=E((x-E(x))(y-E(y)))
]
方差是一种特殊的协方差。当 (X=Y) 时，(Cov(x,y)=Var(x)=Var(y)) 。
- 独立变量的协方差为 (0)
- 协方差计算公式：
[Cov(sum_{i=1}^{m}{a_ix_i}, sum_{j=1}^{m}{b_jy_j}) = sum_{i=1}^{m} sum_{j=1}^{m}{a_ib_jCov(x_iy_i)}
]
- 特殊情况：(Cov(a+bx, c+dy) = bdCov(x, y))
相关系数
相关系数 相关系数是研究变量之间线性相关程度的量。两个随机变量的相关系数定义为：
[Corr(x,y) = frac{Cov(x,y)}{sqrt{Var(x)Var(y)}}
]
- 有界性。相关系数的取值范围是 ([-1,1]) ，可以看成无量纲的协方差。
- 值越接近 (1) ，说明两个变量正相关性（线性）越强。越接近 (-1) ，说明负相关性越强，当为 (0) 时，表示两个变量没有相关性。