EM算法的应用

一、高斯混合模型参数估计的EM算法
假设观测数据(y_1, y_2,...,y_N)由高斯混合模型生成

[P(y| heta) = sum^k_{k=1} alpha_kphi(y| heta_k) ]

其中， ( heta = (alpha_1, alpha_2,...,alpha_k: heta_1, heta_2, ..., heta_k)， 我们用EM算法算法估计高斯混合模型的参数) heta$。

1. 明确隐变量，写出完全数据的对数似然函数
   概率(alpha_k)选择第(k)个高斯分布模型，然后第(k)个分模型的概率分布生成观测数据(y_j)，这时(y_j)是已知的， 但反观数据(y_j)来自第(k)个分模型是未知，以隐变量(gamma_{jk})表示，其定义如下
   

2. EM算法的E步， 确定Q函数

3. 确定EM算法的M步
   迭代的M步是求函数(Q( heta, heta^{(i)})), 即求新一轮迭代的模型参数

[ heta^{(i+1)} = argmax Q( heta, heta^{(i)} ]