cs224n第一讲深度自然语言处理

1、什么是NLP?

定义。融合了计算机科学、AI和计算语言学的人工智能领域的一个分支。

NLP levels。单词结构的形态分析,句子结构的句法分析,语义解释(结合上下文得出的语义就引出了语用学和语篇处理)。

应用。机器翻译、口语对话系统、生成开发知识库、语音识别、情感分析,在商业上掀起研究NLP 的浪潮。

人类语言的特殊之处:一是专门构造用于传达说话者(写作者)的意思,二来它是一个分散的、象征性的、绝对的信号系统(语言就是系统) 

2、什么是DL?

深度学习是ML的一个分支,主要研究如何让计算机自动学习,而不是人工教授、手工写代码。

DL是表征学习(representation learning)的一个分支,它试图获得多层的习得表征和最佳输出,实际表现就是你在研究中用到了神经网络的模型。

探索DL的原因。手工设计的特征不完整、过于专一、设计和证实的时间周期长;习得特征自适应和学习能力好;用于监督学习和无监督学习;表征的信息多样,视觉的,语言的;效果较之其他机器学习方法明显提高。

在DL领域首个突破在语音识别上,再是计算机视觉领域(在ImageNet计算机视觉竞赛中出色表现)

3、学习前提

Prerequisites

熟练使用培Python;熟悉矩阵、多元微积分、线性代数相关概念;基本概率统计知识;机器学习相关(loss function、optimization with gradient descent)

4、为什么NLP很难?

5、Deep NLP = DL + NLP

近几年在NLP领域的发展,通过不同的

  • 层次:词汇学,句法学,语义学
  • 工具:词性标注,名称识别,找句子语法结构
  • 应用:机器翻译,情感分析,聊天助手,问答系统

深度学习和语言都是以词义为起点(第二讲),将一个单词用向量表示,维度自定义,组成单词向量(vectors for words),同类型的单词就会聚集在向量空间中,若要观察到需要用一些方法,如主成分分析、非线性降维,来投射到二维空间,以便观察。

Morpheme:the smallest unit of meaning that a word can be divided into.

应用举例:用神经网络进行依存句法分析(dependency parsing)

运用DL在NLP的各个应用领域,像机器翻译,情感分析,聊天助手,问答系统上,都呈现出了大幅度的提高。

小tip:NLP最早进行研究是在美苏冷战时开始的。。。

下一讲预告

原文地址:https://www.cnblogs.com/py-fwg/p/9905794.html