词性标注 HMM

1.给定语料,统计语料中的词性为N,词组为M。

2.HMM关注3个参数

  a.初始化概率

  b.状态转移矩阵 N*N

  c.观测状态概率矩阵 N*M

3.状态转移矩阵:词A的词性为词性a,词B的词性为词性b,AB为相连词,从给定的语料中统计从词性a转换到词性b出现的次数/词性a转换到所有可能转换的词性的次数为状态转移矩阵中的aij.所以有N*N个概率。

4.观测状态概率矩阵:词性a下为词A的次数/词性a下所有词的数目,所以为N*M。

5.初始化概率:求的是每个词性的先验概率,即为:词性a出现的次数/总的词性现的次数,长度为N的list,即为初始化概率。

词性标注问题:

  a.第一步是求出初始化状态先验概率,为初始化概率。

  b.求出状态转移矩阵。

  c.求出观测状态概率矩阵,以上这3步为HMM中的学习问题。

  d.利用求出来的这3个参数,那么就是一个HMM模型,那么就可以用着3个参数求出最大概率序列,即为HMM的预测问题,

原文地址:https://www.cnblogs.com/callyblog/p/9925208.html