02-NLP-04基于统计的翻译系统-02词对齐

www.NiuTrans.com

IBM的思路:EM算法。

由于语序问题肯定不能一个个词直接翻译。因此需要找到内在的词对齐的方式。

在IBM出现之前,采用过很多句法上的努力。例如利用语法syntax分析(现在已经不怎么用)。因为当句子很长的、表达方式越来越多元化的时候,如果想要通过直接归纳出来一个固定模式的方法效果并不好。

IBM提出直接用统计的方法来实现,直接找到词与词之间的对应关系。因此,当你送入大量语料库的时候,机器进行观察,很多句话里,都有中文中出现某词的时候英语中一定会出现另外一个词。

采用共现(共同出现)来分析:

计算机在它的语料上没能找出今天和today之间的双向对应(是因为本例中自己的问题)。

由于是基于统计的,类似于无监督学习。

 所有的ML算法中采用的训练数据都是平行语料,都是不跨行的。

原文地址:https://www.cnblogs.com/Josie-chen/p/9134295.html