数学之美的笔记(24)

数学之美的笔记(24)

第五章 隐含马尔可夫模型

xunzhang (vim xunzhang.life)

阅读时想到的几处体会： *语音识别、机器翻译问题------这章主要解决的是自然语言处理里面的如语音识别、机器翻译的问题，利用的是隐含马尔可夫模型，因为这类问题都能抽象成一个通信的过程，本质就是编解码和传输的过程。 *隐含马尔可夫模型------隐含马尔可夫模型与一般的马尔可夫模型不同在于有个编解码过程(能观测到的是随即变量si的oi特征:s->o)，这也是问题的核心所在。而我们不知道s是如何到o的，比如我们... (更多)

阅读时想到的几处体会： *语音识别、机器翻译问题------这章主要解决的是自然语言处理里面的如语音识别、机器翻译的问题，利用的是隐含马尔可夫模型，因为这类问题都能抽象成一个通信的过程，本质就是编解码和传输的过程。 *隐含马尔可夫模型------隐含马尔可夫模型与一般的马尔可夫模型不同在于有个编解码过程(能观测到的是随即变量si的oi特征:s->o)，这也是问题的核心所在。而我们不知道s是如何到o的，比如我们不知道人的大脑是如何从英文翻译到中文的。因此很自然地把s和o抽象成两个独立的随即过程，用p(s),p(o),p(so)和贝叶斯公式(p(o|s))去近似和模拟p(s|o)。在这个过程中p(o|s)可以用人工标注（有监督的训练算法）的方法去做，大多数情况以及一些无法人工标注获得的情况可用Baum-Welch算法去迭代（无监督的训练算法）（文中说这个是局部最优的在一些不凸的问题上（凸的问题上必要条件+唯一性能变成充要条件）不一定全局最优的，这时的结果比人工标注的会略差）。阅读本章的疑问： *隐含马尔可夫模型的训练------这里文中说到了三个基本问题：

1.给定一个模型，如何计算某个特定的输出序列的概率。

2.给定一个模型和某个特定的输出序列，如何找出最可能产生这个序列的状态序列。

3.给定足够量的观测数据，如何估计隐含马尔可夫模型的参数。

这里文中并没有说三者的依赖关系，比如2必须先解1（即对于2中这时1中的概率看成一个常数），再比如3如果用Baum-Welch算法其实假设先要解出1和2。但是我的问题来了，此时其实把核心问题(如何解p(o|s))放到问题2里面去了，我想知道2中解决p(o|s)的本质思想是什么，还是把o和s独立看然后求关系么，那这样和人工标注思想没区别了，如果你说是通过某种算法得到近似人工标注的结果，那这个算法的本质思想又是什么呢？另外一点文中最后一段的逻辑是先需要一个训练算法解决3（这里是Baum-Welch算法），在用2的方法（这里是Viterbi算法）解决具体问题，这和上面说的2依赖3不就死循环了？留给自己与大家的问题： *数据挖掘和机器学习的区别与联系，个人认为从术语来说这两个词区别这个问题意义不大，但是从产生来看这个问题还是有意义的。个人体会是ML只是DM的一小部分，就是给一个输入或说case我能帮你solve，而DM更多的是需要对所有的输入(case)去归纳抽象出结果，大家指教啊~ (收起)