PRML Chapter 9. Mixture Models and EM

今天从网上搜的 EM 算法的原始论文叫做 Maximum likelihood from incomplete data via the EM algorithm,下次仔细学习的时候可以看看,最近比较功利,就不弄得那么明白了。(2012@3@21)

9.1 K-means Clustering

主要介绍了 K-means 和 EM 算法之间的关系,第一次听说原来 K-means 就是 EM 算法,不知道的东东还真是多。

接下来第二小结是 Mixtures of Gaussians,看来不得不回2.3去看了。

9.2 Mixtures of Gaussians

这章内容太多,所以单独写成分日志。

第一部分链接:Mixtures of Gaussians

第二部分链接:9.2.1 Maximum likelihood

9.2.2 的推导看不明白,直接上结论

1. 对于GMM的EM算法,由于EM计算量大而且收敛慢,可以先用K-means找到几个中心,然后均值、方差和混合参数都可以根据K-means的结果设定初始值。

2. 需要防止模型在奇异点崩塌

3. EM不能保证找到全局最优值

下面不打字了,直接把书上截图了:

原文地址:https://www.cnblogs.com/xlhblog/p/2386061.html