NLP 第七课 词性标注问题 概率图模型

https://www.bilibili.com/video/BV1kE411G7qo?p=7&t=64

Lesson 7: Topic Model

小文本可以用 graphic model

1. 图模型

　　

2.  

　　1） NB： 每个xi之间都是相互独立，但是都与给定条件c有关

　　2）右图中 正方形框代表重复K次

　　3）

　　

　　3）  a 是状态转移矩阵，b是释放概率

　　

 3.

　　1）HMM 

　　A ： 状态转移矩阵， t-1 -> t时刻 e.g.雨天到晴天的概率

　　B： 概率释放矩阵

　　q0,q1为下雨，晴天    y0,y1为 cleam shopping

 

 　　

 　　

 　　

 　　

 　　

 　　

 　　

　　

　　已知一些 输出，求下一个输出的最优标注

 　　

 　　

　　

　　 

　　2） 应用： 对于给定的观测序列 y0-yt   WSSCWSCC (washing clean shopping)

　　　　　　求某天的状态，则比较γ（sunny）γ（rain）谁大

　　

4. EM 

5. Topic Model

　　

 　　1) LSA （SVD分解） d c 是观测值 z是 topic

 　　

　　2)SVD分解

　　

 　　词向量压缩 从20000维压缩到2维，通过算夹角余弦来计算相似度。

　　

　　

　　3)

　　

　　4)

6.

7.