多元高斯分布

  直接给出多元高斯分布和单元高斯分布的概率密度函数:

  

  μ是一个D维均值向量,Σ是一个D×D的协方差矩阵,我们只考虑正定矩阵(所有特征值都是正数),即|Σ|>0;多元高斯分布和单态量高斯分布尽管在形式上不同,但实际上单态高斯是维数为1的多元高斯分布:当D=1时,Σ是一个1×1的矩阵(即退化为一个数),|Σ|1/2=σ(即标准差),Σ-1-2,(x-μ)T=(x-μ),我们能够把这两个公式很好的对应起来。

  在协方差矩阵Σ中,(i,j)元素是X向量中第i个和第j个元素的协方差:  

  我们这里考虑的协方差矩阵都是实对称矩阵根据线性代数理论,所有N×N的实对称矩阵都有N个线性无关的特征向量,并且这些特征向量都可以正交单位化而得到一组正交且模为1的向量(参考wiki谱分解),以二维矩阵为例:

  

  因此,协方差矩阵可以表示为以下形式(x,u一样,都是特征向量的单位正交形式):

  

  又因为中间的是对角矩阵,我们很容易的就可以得到它的逆矩阵:

  

  我们现在回到高斯分布的公式上,定义以下的二次型:

  

  将我们推导的协方差矩阵的拟带入上式,可得:     

  其中再定义:

  

  ==》

  

  其中U是一个正交矩阵;以二维数据为例,高斯分布为一个椭圆曲面(所有特征值为正的情况下),椭圆中心为μ,椭圆轴的方向沿着ui,缩放因子为λ1/2.示意图如下:

  

原文地址:https://www.cnblogs.com/decade-dnbc66/p/5932517.html