统计学习方法九:EM算法

一、EM算法是什么?

EM算法是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计。
作用:简单直白的说,估计参数
是一种生成模型

(1)用在概率模型中
(2)含有隐变量
(3)用极大似然估计方法估计参数

个人理解,概率模型中的一些参数,通常是一些概率:
(1)如果概率模型中的变量全部可观测,那可以统计各个变量出现的次数,然后可以求取频率,用频率估计概率
(2)如果概率模型中存在着不可观测的隐变量,直接求频率可能会不可行,此时采用EM算法来求取参数。

按照什么标准极大化参数呢?
用Y表示观测随机变量的数据
用Z表示隐随机变量的数据
我们可观测到Y,Y通常是由Z生成的,而生成规则遵循概率模型,也就是概率模型中的参数。
我们希望找到这些的参数,这些参数使得出现观测序列Y的概率最大

算法思想:

二、算法步骤

1、初始化参数:给要估计的参数一个初始值
2、E步骤:根据现有的参数求期望
3、M步骤:期望最大化求参数的估计值
4、重复步骤2、3直到收敛


原文地址:https://www.cnblogs.com/naonaoling/p/5701528.html