协方差与协方差矩阵

协方差是统计学上表示两个随机变量之间的相关性，随机变量ξ的离差与随机变量η的离差的乘积的数学期望叫做随机变量ξ与η的协方差（也叫相关矩），记作cov(ξ, η)：

cov(ξ, η)= E[(ξ-Eξ)(η-Eη)] = E(ξη)-EξEη

对于离散随机变量，我们有:

对于连续随机变量，我们有:

随机变量的协方差用来描述随机变量之间的相关性，如果ξ与η独立，则cov(ξ, η)=0. 如果ξ与η相同，则cov(ξ, η)就是变量ξ的方差.

协方差矩阵是一个矩阵，其每个元素是各个矢量元素之间的协方差。这是从标量随机变量到高维度随机矢量的自然推广.

假设 $X$ 是以 $n$ 个标量随机变量组成的列矢量，

$X = \begin{bmatrix}X_1 \\ \vdots \\ X_n \end{bmatrix}$

并且 $\mu_i$ 是其第i个元素的期望值，即, $\mu_i = \mathrm{E}(X_i)$ 。协方差矩阵被定义的第i，j项是如下：

$\Sigma_{ij} = \mathrm{cov}(X_i, X_j) = \mathrm{E}\begin{bmatrix} (X_i - \mu_i)(X_j - \mu_j) \end{bmatrix}$

即：

$\Sigma=\mathrm{E} \left[ \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right) \left( \textbf{X} - \mathrm{E}[\textbf{X}] \right)^\top \right]$

$= \begin{bmatrix} \mathrm{E}[(X_1 - \mu_1)(X_1 - \mu_1)] & \mathrm{E}[(X_1 - \mu_1)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_1 - \mu_1)(X_n - \mu_n)] \\ \\ \mathrm{E}[(X_2 - \mu_2)(X_1 - \mu_1)] & \mathrm{E}[(X_2 - \mu_2)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_2 - \mu_2)(X_n - \mu_n)] \\ \\ \vdots & \vdots & \ddots & \vdots \\ \\ \mathrm{E}[(X_n - \mu_n)(X_1 - \mu_1)] & \mathrm{E}[(X_n - \mu_n)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_n - \mu_n)(X_n - \mu_n)] \end{bmatrix}$

矩阵中的第 $(i,j)$ 个元素是 $X_i$ 与 $X_j$ 的协方差。这个概念是对于标量随机变量方差的一般化推广。

进一步的分析协方差矩阵

∂_i表示各样本的X_i变量不同样本值组成的向量(i=1,2,...n);

β_j表示某一个样本 j 的各变量值组成的向量(j=1,2,...,m);

用 μ_i表示X_i的期望，即 μ_i=E(X_i).

$\Sigma_{ij} = \mathrm{cov}(X_i, X_j) = \mathrm{E}\begin{bmatrix} (X_i - \mu_i)(X_j - \mu_j) \end{bmatrix}$

协方差矩阵为

如果所有μ_i=E(X_i)=0.则上面表达式就变为：

（实际计算中，分母是m-1，而不用m）