【论文阅读-对话系统】<<Neural Responding Machine for Short-Text Conversation>>阅读

1、介绍

1.0.1、自然语言对话的传统方案：

基于规则or基于学习；

缺点：人工构建规则或者模型，在小数据上运行，不好迁移

1.0.2、STC：Short-Text Conversation——只考虑一轮对话

STC解决方案：

基于检索or基于SMT(statistical machine translation)

检索方案：通过对候选中的匹配特征进行线性或者非线性组合，然后排序；

缺点：候选是已有的，不能定制化；匹配特征不足以区分好的响应和坏的响应

SMT：当做机器翻译，问答没有语义上的同义关系，建模方式不合适

1.1、概述

本文贡献：

1）提出Encoder-Decoder方法；

2）优于传统方案

1.2、本文路径图

2、STC数据集

2.1、微博对话数据

2.2、数据描述

数据清洗

数据特点：post-response语义差别；一个post有平均20个response

3、NRM for STC

结构

3.1、Decoder计算

类似SMT AM的结构设计，选用GRU作为单元

3.2、Encoder计算

3.2.1、Global Scheme：全部信息编入一个vector，缺点：信息丢失，尤其是vector维度比较低的时候

3.2.2、Local Scheme：

3.3、扩展：混合Global and Local

混合的时候，ht的值在Global和Local含义不一致，因此，分开训练，然后fine-tune

4、实验

4.1、实现细节

4.2、比较模型

4.2.1、基于检索方式：生成特征，用rankSVM模型计算权重

4.2.2、基于SMT

5、结果和分析

SMT的BLUE不合适；统计语言模型的复杂度也不合适

使用人工指标

5.1、评估指标

合适、自然、不合适

评估依据：语法和流畅；逻辑一致；语义相关；依赖场景；概括性

5.2、结果

5.3、Case Study

NRM不同方法，结果不同：结果问题；初始化参数问题

NRM-hyb可以给出不同的合适的答案

疑问：NRM-glo方法和SMT方法差异在哪里

微信: legelsr0808

邮箱: legelsr0808@163.com