数学之美 第2章 自然语言处理:从规则到统计

参考书籍:《数学之美》 吴军著

任何语言都是一种编码方式,语言的规则则是编解码的算法。

1. 计算机能否处理自然语言?如果能,它处理自然语言的方法和人类一样吗?  Yes and Yes(上下文相关的、基于语料统计的方法)

2. 图灵测试:让人和机器进行交流,如果人无法判断自己交流得对象是人还是机器,就说明这个机器是有智能的。

3. 基于规则的句法分析(“鸟飞派”):语法分析、语义分析——>失败:语法规则过多,计算量太大(甚至相互矛盾)+ 语义的多义性严重依赖上下文

高级程序语言:人为设计的、便于计算机解码的上下文无关文法;

自然语言:词义和上下文相关,即上下文有关文法(根本原因

4. 基于统计的方法的核心模型:通信系统 + 隐马尔科夫模型

应用进展:语音识别(弗里德里克·贾里尼克)——> 词性分析 ——> 机器翻译(最初效果很差,随着计算能力的提高和数据量的增加,统计模型的正确性逐渐显现

转变的推动力:新的应用依赖于数据的作用浅层的自然语言处理工作

原文地址:https://www.cnblogs.com/hg-love-dfc/p/10285489.html