高维高斯分布的简述


标准的一元高斯分布概率密度函数是：

$f(x_1)=frac{1}{sqrt{2pi}}e^{frac{-x_1^2}{2}}$

如果有另外一个随机变量 $x_2$ ，它和 $x_1$ 是相互独立的，那么，它们的联合概率密度函数是：

$egin{split} g(x_1, x_2) &= f(x1)f(x_2)\ &= frac{1}{sqrt{2pi}}frac{1}{sqrt{2pi}}e^{frac{-(x_1^2+x_2^2)}{2}} end{split}$

那么，如果用 $x_1$ 和 $x_2$ 组成一个随机向量，形如:

$m x = left( egin{array}{c} x_1\ x_2 end{array} ight)$

那么， $m x$ 的密度函数就是：

$egin{split} g(m x) &= frac{1}{(2pi)^{frac{2}{2}}}e^{-frac{x_1^2+x_2^2}{2}}\ &=frac{1}{(2pi)^{frac{2}{2}}}e^{-frac{m x ^Tm x}{2}} end{split}$

为了让形式更一般化，设:

$m y = frac{A(m x - u)}{sigma}$

概率密度函数关系里可知：

注释：这里笔误||A||---->>>|A| 是指A的矩阵

　　　概率密度函数间的关系

$g(m y) = frac{|A|}{sigma}g(frac{A(m x - u)}{sigma})$

所以， $m y$ 的概率密度函数是：

$egin{split} g(m y) &= frac{|A|}{(2pi)^{frac{2}{2}}sigma }e^{-frac{(m x - u)^TA^TA(m x - u)}{2sigma ^2}} end{split}$

令:

$Sigma=frac{sigma ^2}{A^TA}$

如果两侧取行列式，则：

$|Sigma|=frac{sigma ^2}{|A^TA|}=frac{sigma ^2}{|A^T||A|}=frac{sigma ^2}{|A||A|}$

所以：

$egin{split} g(m y) &= frac{|A|}{(2pi)^{frac{2}{2}}sigma }e^{-frac{(m x - u)^TA^TA(m x - u)}{2sigma ^2}}\ &= frac{1}{(2pi)^{frac{2}{2}}|Sigma|^{frac{1}{2}}}e^{-frac{1}{2}(m x - u)^TSigma ^{-1}(m x - u)} end{split}$

如果 $m x$ 和 $m y$ 是 $d$ 维随机变量，那么上式就变成:

$g(m y) = frac{1}{(2pi)^{frac{d}{2}}|Sigma|^{frac{1}{2}}}e^{-frac{1}{2}(m x - u)^TSigma ^{-1}(m x - u)}$


本博文参考：https://www.zhihu.com/question/36339816