Machine Learning --- Gaussian Inference

一、联合高斯分布中的推断

把数据拆成两半(x1,x2)~N(μ,Σ)且

image

则边缘分布、条件分布还是高斯分布:

image

[应用]:数据填补:

image

image

image

二、线性高斯系统

imageimage

令z=(x,y),则:

image

[应用1]:从未知x的有噪声测量y中估计x的值

image

假设测量的精度固定为:image,似然为:image

image

用后验方差表示则:

image

[应用2]:数据融合(每个测量精度都不一样,如用不同的仪器采集)

image

image

三、多元高斯参数的贝叶斯估计

image

image

(1) μ的后验估计(高斯似然+共轭高斯先验)

数据似然:

image

共轭先验:

image

后验:

image

标量后验:

image

(2) Σd的后验估计(IW似然+共轭IW先验/IG似然+共轭IG先验)

image

当D=1时退化为反Gamma分布(卡方分布):

image

image

image

似然函数:

image

共轭先验:

image

image

后验:

image

image

标量IG似然:

image

标量共轭IG先验:

image

标量后验(IG左,卡方X右):

image   image

参数λ控制MAP向先验收缩的程度,通过交叉验证或OLS选择。

(3) μ和Σ的后验分布(NIW似然+NIW先验)

NIW似然:

image

NIW先验:

image

NIW后验:

image

其中:

image

原文地址:https://www.cnblogs.com/jizhiyuan/p/3431222.html