http://www.zhihu.com/question/19895141
stanford NLP课程网址
https://class.coursera.org/nlp/lecture
14 个回答
接下来说，《统计自然语言处理基础》这本书，这书实在是太老了，但是也很经典，看不看随意了。
现在自然语言处理都要靠统计学知识，所以我十分十分推荐《统计学习方法》，李航的。李航老师用自己课余时间7年写的，而且有博士生Review的。自然语言处理和机器学习不同，机器学习依靠的更多是严谨的数学知识以及推倒，去创造一个又一个机器学习算法。而自然语言处理是把那些机器学习大牛们创造出来的东西当Tool使用。所以入门也只是需要涉猎而已，把每个模型原理看看，不一定细致到推倒。
宗成庆老师 的统计自然语言处理第二版非常好~《中文信息处理丛书：统计自然语言处理（第2版）》 蓝色皮的~~~
然后就是Stanford公开课了，Stanford公开课要求一定的英语水平。| Coursera 我觉得讲的比大量的中国老师好~
举例：
http://www.ark.cs.cmu.edu/LS2/in...
或者
http://www.stanford.edu/class/cs...
如果做工程前先搜索有没有已经做好的工具，不要自己从头来。做学术前也要好好的Survey！
开始推荐工具包：
中文的显然是哈工大开源的那个工具包 LTP (Language Technology Platform) developed by HIT-SCIR(哈尔滨工业大学社会计算与信息检索研究中心).
英文的(python)：
- pattern - simpler to get started than NLTK
- chardet - character encoding detection
- pyenchant - easy access to dictionaries
- scikit-learn - has support for text classification
- unidecode - because ascii is much easier to deal with
希望可以掌握以下的几个tool：
CRF++
GIZA
Word2Vec
希望可以理解自然语言处理的基本架构~：分词=>词性标注=>Parser
Quora上推荐的NLP的论文（摘自Quora 我过一阵会翻译括号里面的解释）：
Parsing（句法结构分析~语言学知识多，会比较枯燥）
- Klein & Manning: "Accurate Unlexicalized Parsing" ( )
- Klein & Manning: "Corpus-Based Induction of Syntactic Structure: Models of Dependency and Constituency" (革命性的用非监督学习的方法做了parser)
- Nivre "Deterministic Dependency Parsing of English Text" (shows that deterministic parsing actually works quite well)
- McDonald et al. "Non-Projective Dependency Parsing using Spanning-Tree Algorithms" (the other main method of dependency parsing, MST parsing)
Machine Translation（机器翻译，如果不做机器翻译就可以跳过了，不过翻译模型在其他领域也有应用）
- Knight "A statistical MT tutorial workbook" (easy to understand, use instead of the original Brown paper)
- Och "The Alignment-Template Approach to Statistical Machine Translation" (foundations of phrase based systems)
- Wu "Inversion Transduction Grammars and the Bilingual Parsing of Parallel Corpora" (arguably the first realistic method for biparsing, which is used in many systems)
- Chiang "Hierarchical Phrase-Based Translation" (significantly improves accuracy by allowing for gappy phrases)
Language Modeling (语言模型)
- Goodman "A bit of progress in language modeling" (describes just about everything related to n-gram language models 这是一个survey，这个survey写了几乎所有和n-gram有关的东西，包括平滑 聚类)
- Teh "A Bayesian interpretation of Interpolated Kneser-Ney" (shows how to get state-of-the art accuracy in a Bayesian framework, opening the path for other applications)
Machine Learning for NLP
- Sutton & McCallum "An introduction to conditional random fields for relational learning" (CRF实在是在NLP中太好用了！！！！！而且我们大家都知道有很多现成的tool实现这个，而这个就是一个很简单的论文讲述CRF的，不过其实还是蛮数学= =。。。)
- Knight "Bayesian Inference with Tears" (explains the general idea of bayesian techniques quite well)
- Berg-Kirkpatrick et al. "Painless Unsupervised Learning with Features" (this is from this year and thus a bit of a gamble, but this has the potential to bring the power of discriminative methods to unsupervised learning)
- Hearst. Automatic Acquisition of Hyponyms from Large Text Corpora. COLING 1992. (The very first paper for all the bootstrapping methods for NLP. It is a hypothetical work in a sense that it doesn't give experimental results, but it influenced it's followers a lot.)
- Collins and Singer. Unsupervised Models for Named Entity Classification. EMNLP 1999. (It applies several variants of co-training like IE methods to NER task and gives the motivation why they did so. Students can learn the logic from this work for writing a good research paper in NLP.)
- Gildea and Jurafsky. Automatic Labeling of Semantic Roles. Computational Linguistics 2002. (It opened up the trends in NLP for semantic role labeling, followed by several CoNLL shared tasks dedicated for SRL. It shows how linguistics and engineering can collaborate with each other. It has a shorter version in ACL 2000.)
- Pantel and Lin. Discovering Word Senses from Text. KDD 2002. (Supervised WSD has been explored a lot in the early 00's thanks to the senseval workshop, but a few system actually benefits from WSD because manually crafted sense mappings are hard to obtain. These days we see a lot of evidence that unsupervised clustering improves NLP tasks such as NER, parsing, SRL, etc,
但更重要的还是实战经验！
这本书的权威自不用说，译者是冯志伟老师和孙乐老师，当年读这本书的时候，还不知道冯老师是谁，但是读起来感觉非常好，想想如果没有在这个领域积攒多年的实力，是不可能翻译的这么顺畅的。这本书在国内外的评价都比较好，对自然语言处理的两个学派（语言学派和统计学派）所关注的内容都有所包含，但因此也失去一些侧重点。从我的角度来说更偏向于统计部分，所以需要了解统计自然语言处理的读者下面两本书更适合做基础阅读。不过这本书的N-gram语言模型部分写得非常不错，是SRILM的推荐阅读参考。
2、《统计自然语言处理基础》（Foundations of Statistical Natural Language Processing）
我比较喜欢这本书，这两年的学习过程中也经常拿这本书作为参考，可能与我做统计机器翻译有关吧。看china pub上的评论说这本书的翻译比较差，自己的感觉是还行。当然，这是国内翻译图书的一个通病：除了很难有翻译的非常好的书外，另外一个原因就是滞后性。如果e文足够好的坏，就及时看英文版吧。这本书在统计基本部分的介绍很不错，另外n元语法部分讲得也比较好，也是SRILM的推荐阅读。
3、《统计自然语言处理》
这是北京自动化所宗成庆老师今年5月出版的一本专著，我有幸较早的阅读了这本书的很多章节。一个很强的感觉是：如果你想了解相关领域的国内外最新进展，这本书非常值得一读。上面两本书在由于出版稍早的缘故，很多领域最新的方法都没有介绍。而这本书刚刚出版，宗老师对国内外现状把握的也比较好，因此书中充分体现了这方面的信息。另外统计机器翻译这一部分写得很详细很不错，这可能与宗老师亦是这个领域的研究者有关吧。
4、《计算机自然语言处理》
这是我最早看的一部自然语言处理方面的书籍，和上面几部大部头的书籍相比，这本书很薄，可以很快的看完。书的内容我都有点忘了，但是印象中可以在每个章节看到国内这个领域的研究历史和相关单位。这时才发现母校HIT在这个领域的超强实力，只是可惜这时候已经离开冰城了。
这些书籍怎么读都行，泛览也罢，精读也行，只要有时间，多读书是没坏处的。我自己的经验是，先泛泛的浏览或阅读一篇，对于比较晦涩的部分可以先跳过去，然后对自己感兴趣的领域或者将要从事的领域的相关章节进行精读，当然，书籍一般在开始的几个章节讲些基础性的知识，这部分最好也仔细揣摩一下。真正要对自己研究的领域深刻了解，还得好好读一下本领域的相关论文。
书籍篇：
入门书籍挺多的，我也看过不少。
1）《数学之美》（吴军）
这是我看的第一本关于NLP的书。现在第二版出来了，貌似新增了两章内容，还没看过。第一版写的挺好，科普性质。看完对于nlp的许多技术原理都有了一点初步认识。现在没事还会翻翻的。
2）《自然语言处理简明教程》（冯志伟）
冯志伟老师这本书，偏向于语言学，书略厚。关于语言学的东西很多。都是很容易理解的东西。建议没有学过理工科们翻一翻，毕竟nlp这东西未来趋势可能会融合不少语言学的东西。
3）《自然语言处理综论》（Daniel Jurafsky）
这本书也是冯志伟老师翻译的，翻译的挺棒，看了差不多一半。综论性质的，选感兴趣的章节翻翻就行。作者是Daniel Jurafsky，在coursera上面有他的课程，后面视频篇里集中谈。
4）《自然语言处理的形式模型》（冯志伟）
这本书还是冯志伟老师写的。很佩服冯志伟老师，文理兼修，而且都很厉害。内容许多是从他以前的著作里面摘取的。算是一本各种语言模型和统计模型的大集合吧。放在桌面，没事翻翻也能是极好的。
5）《统计自然语言处理(第2版)》（宗成庆）
这本书我觉得写的不错。虽然我是语言学背景，但读起来也没有太吃力。它也是综论性质的，可以跳着看。
6）《统计学习方法》（李航）
自然语言处理需要些机器学习的知识。我数学基础还是太薄弱，有的内容还是有些吃力和困惑的。
7）《机器学习实战》哈林顿 (Peter Harrington)
《Python自然语言处理》
《集体智慧编程》
这些书都是python相关的。中间那本就是将NLTK的。网上都有电子版，需要的时候翻一番看一看就行。
视频篇：
@吴俣 上面提到的，斯坦福的nlp课程Video Listing，哥伦比亚大学的https://class.coursera.org/nlangp-001，两个都是英文的，无中文字幕，现在还可以下载视频和课件。
另外超星学术视频：
1）自然语言理解_宗成庆
我觉得讲的还是不错的，第一次听的时候有些晕乎。该课程网上有ppt讲义。讲义后来被作者写成了书，就是上面提到的《统计自然语言处理》。拿着书就是教材，还有课程ppt和视频可以看，这种感觉还是很好的。
2）自然语言处理_关毅
感觉讲的一般，听了几节，跳跃太多，有时候让人摸不着头脑。多听听还是很有益处的吧。
3）计算语言学概论_侯敏
这个就是语言学内容为主了，作者也是语言学背景下在nlp比较活跃的。讲的很浅。老师讲课很啰嗦，说话太慢，我都是加速看的。
4)计算语言学_冯志伟
冯志伟老师这个课，一如他的著作，语言学和统计都会涉及到一些。冯志伟老师说话有些地方听不大清，要是有字幕就好了。
5）语法分析_陆俭明
这是纯语言学的课程。陆剑明也是当代语言学的大师。我觉得既然是自然语言处理，语言学的东西，还是多少要了解的。
其他篇：
1）博客的话，我爱自然语言处理专门记录nlp的，很不错，再有就是csdn上一些比较琐碎的了。
2）北京大学中文系 应用语言学专业这个刚开始的时候也看了看，又不少干货。
3）《中文信息学报》说这个，不会被大神喷吧。英语不佳，英文文献实在看的少。这个学报，也是挑着看看就行。
好像就是这些内容了。如果有，日后再补。
虽然自己写了这么多，但不少书和视频都没有完整的看完。现在水平仍很菜，仍在进阶的路上。希望各路大神多多指点，该拍砖就拍吧。
在知乎上搜索相关问题，有人推荐《数学之美》，之前粗略看过一次，这次想重新看一下并且做个读书笔记。下面是关于自然语言理解方面的一些读书笔记和自己的思考。
一． 自然语言处理历史：
自然语言处理最初发展的20多年里，相关科学家都极力通过电脑模拟人脑，试图用这种方式来处理人类语言，但是这种方式被证明是行不通的，成功几乎为零。NLP发展的第二阶段是70年代之后，科学家们终于找到了基于数学模型和统计的方法。
第一阶段的时候，学术界对人工智能和自然语言理解的普遍认识是：要让机器完成翻译或者语音识别等等，必须先让计算机理解自然语言，就像人类一样去理解这些语言，这显然是做不到的。即便在可预见的将来，这也必定是一件不太现实的事情。
第二阶段，比如机器在翻译的过程中，并没有理解这句话的意思，它只是做了一种统计上的归纳而已。机器依旧是机器。
基于规则的分析方法，需要将现有的句法系统按照句子成分划分成一个一个单位，而这会随着句子的复杂多样化句子的划分复杂度几何级上升，并且没有上下文的帮助句子词义的多样性同样限制了规则分析方法的发展。比如The pen is in the box.和The box is in the pen.按照规则来分析该句子根本不可能获得语义，必须依靠常识来得到该句子的真正含义，但是基于统计的方法可以依靠上下文对该语义做一个合理的预估。基于规则的方法完全从该单独的句子着手，根本不管上下文。但是这样也还是没有让基于统计的方法快速发展起来，主要原因在于基于统计的方法需要大量的训练数据，这在当时来说是达不到的。
二.统计语言模型：
自然语言逐渐演变成为一种上下文相关的信息表达和传递的方式，计算机就用统计语言模型去表征自然语言这种上下文相关的特性。
一个句子S=(w1,w2,w3…wn)由n个词组成，我们要弄清该句子是否是一个合乎实际的句子，可以计算该句子在现实情况下的概率，最最简单的想法是把人类所有句子统计一遍，然后再计算这个句子的概率，但是这显然是行不通的。一个可行的方法是把这个句子分成n个词（对于中文来说，这就是中文分词研究的东西），然后再计算这n个词按照该顺序组成这个句子的概率大小。可以表示如下：
这个概率计算的复杂度会随着n的增大指数上升。因此引入齐次马尔科夫性假设，即假设一个词的出现只与其前面一个词的出现有关，而与更前面的词无关，这样概率计算可以简化为如下：
这样的模型称为二元模型，用更一般的表示方法为：
但是二元模型显然太过于简单草率，所以有了高阶模型的出现，n阶模型表示一个词的出现与其前面的n-1个词有关。表示为：
一般由于计算复杂度的问题，大多数情况下用3阶模型，谷歌的用到了4阶模型。
接下来的问题是，由于用来训练模型的语料库（corpus）太少而出现的零概率情况如何处理？
这里有一个古德-图灵公式，基本思路是当词语对出现次数大于某一阈值时，利用条件概率计算出来的频率根据大数定理就当做概率（因为只有大于某一阈值时我们才有充分理由相信大数定理的条件被满足），当出现频数小于该阈值但又大于零的频率，则相应的下调该频率值，因为这个时候大数定律成立的条件是没有被满足的，并且出现次数越少，下调频率越多，最后把这个下调的频率当做所求的概率，最后对于零出现的情况，则将这些下调的总和平均分配给零出现的次数，以保证概率总和为1。
三.中文分词问题：
汉语和英语有分割每个词的空格不一样，汉语中所有的词都没有明显分界，所以必须解决中文分词问题，最简单的方法是查字典，基本思想是首先有一个中文词语的字典库，将一个句子从左扫描到末尾，遇到字典里有的词之后就保存，规则是尽量找最长的词，比如中国航天城，中是一个单字词，先保存，继续往下扫描，遇到国字，中和国可以组成一个更长的词，因此最后保存中国这个词，后面的航天城类似。查字典的处理方法简单，但不够准确。因为很多情况下并不是最长词的分词规则就是最适合的。
利用统计语言模型来处理中文分词的第一人是郭进博士，基本思想是：假设一个句子有很多种分词方法，则分别计算每种分词方法对应的该句子概率。即：
也就是说，利用每种分词方法都可以计算该句子的概率。然后取最大概率对应的分词方法。其本质上是一种极大似然估计。
四.关于郭进博士分词方法的一些思考：(求指正)
在这里我添加一些关于极大似然估计和极大后验概率，以及频率学派和贝叶斯学派这方面自己的思考，因为每次好不容易弄清楚了二者联系和区别之后，过段时间又混淆了。
在这里，极大似然估计和极大后验概率都是如下的应用场景：在给定观测数据X的情况下，我们要求解产生该观测数据X背后的参数，并且我们求得的参数并不是非此即彼的，也就是有一个概率分布来表征每一个可能的参数。当然， 一般情况下我们都取概率最大的那个参数，即.
极大似然估计和极大后验概率的关键区别就在第三个等号这里，这也是历史上著名的频率学派和贝叶斯学派争论的地方，焦点就在于是否是一个常数，假如是常量的话，那么第三个等号自然就成立了，这样对于参数的估计就变成了极大似然估计(Maximum Likelihood)，假如
不为常量，那么第三个等号就不能成立，对于参数的估计只能停留在倒数第二个式子这里，这便是极大后验概率（Maximum A Posteriori）。
在频率学派的世界里， 参数是常量只是未知。而在贝叶斯学派的世界里，参数则不是常量。双方曾经对这两种观点进行了激烈的争论，这是后话不表。
回到我们这里的问题，给定一个句子，我们要求解其分词组合，实际上给定的这个句子就是我们的观测值，而分词组合便是待求解的参数，而上文说到的清华大学博士郭进所用到的方法便是：先求得每个分词组合下对应的句子概率，把最大概率对应的分词组合作为最终答案。很明显存在如下这个公式：
所以我把这个归为本质上的极大似然估计。
中文分词并不是只能应用在中文领域，而是根据特定场合同样可以应用在字母语言的领域，比如英语词组的分割，手写句子的识别（因为手写英文句子的空格不那么明显）等等。
中文分词已经发展到相当高的阶段，目前只是做一些完善和添加新词的工作，但是也存在一些工程实现方面的取舍问题，主要有两点：
1.分词的一致性，对于同样一个句子，每个人的分词方法不一样，不能说哪种分词方法更优，只能说在具体应用场景里存在一种最优的分词方法；
2.分词的颗粒度问题，和一致性问题一样，不同的应用场景适合用不同的颗粒度，分词器在设计的时候一般会全面兼顾颗粒度小和颗粒度大的情况，在具体问题的时候再进行相应的取舍。
