Gauss Mixture 模型 和 EM 算法

---恢复内容开始---

一、与K-mean算法的比较:

 二、Gauss Mixture 模型

  •  有一组数据,直方图如左上。显然这样的分布不能用某一个单峰简单分布来描述,可以利用高斯混合分布来解决。

分布Y由两个高斯分布混合而成:

  •  现在,我们要求未知参数

  • 那么似然函数是这样的(基于N个已知数据的对数似然)

  •  由于这个似然函数很难求得使似然最大的参数,因此,引入前面提到的潜变量∆ ,但是∆的值实际上未知,我们用其期望来替代,期望是未知参数的函数,这个期望称作responsibility:

 三、EM算法

  • 通过EM算法来求得参数,这事实上是一种聚类。
    • 随机选择参数开始
    • 计算∆的期望γ
    • 利用γ计算各参数
    • 。。。反复迭代直到参数不再更新

 关于开始参数的选择:

原文地址:https://www.cnblogs.com/lokwongho/p/11466324.html