【NLP-2019-SA】解读--An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis-2019ACL

目录

  1. 研究背景
  2. 论文思路
  3. 实现方式细节
  4. 实验结果
  5. 附件

专业术语列表

方面级别的情绪提取 aspect term extraction (AE)

方面级别的情绪分类 aspect-level sentiment classification (AS)

文档级别情绪分类 Documentlevel sentiment classification (DS)

文档域级别分类 document-level domain classification(DD)

交互式多任务学习网络 interactive multi-task learning network ( IMN)

基于方面的情感分析 Aspect-based sentiment analysis (ABSA)

一、研究背景

1.1 涉及领域,前人工作

基于方面的情感分析产出:1.自然语言句子的方面术语 2.及其对应一种情感 3多任务

传统的方式:任务以流水线方式完成,先进行方面术语的提取,再对提取的方面术语进行情感预测。

传统的方式的缺点:虽然更容易开发,但是这种方法没有充分利用来自两个子任务的联合信息,也没有使用可能有用的所有可用的培训信息来源,比如文档级标记的情感语料库。

1.2 中心思想

提出了一种IMN,基于共享的潜在变量,完成AE和AS同时训练,AE,AS和DS,DD四者的交互式训练,本文IMN不仅允许共享表示,而且通过使用迭代消息传递模式显式地对任务之间的交互进行建模。传播的信息有助于学习和推理,从而提高ABSA的整体性能。其中DS和DD的加入,允许允许方面级别的任务从文档级别的信息中受益,实验结果较好。实验结果表明,该方法在三个基准数据集上具有较好的性能。

二、论文思路

2.1 框架图和重要部分

文章主要框架图:

主要组成构建:

1{x1,x2,x3……x6} :输入文本信息,token序列的数据

6DS:预测对输入文档的情感

7DD:预测输入文档的域标签

在AE中我们为每个token分配一个标签,表明它属于某个方面或观点术语;在AS中,我们用sentiment标记每个单词。在一个分类任务中,输出就是输入实例的label,比如情感分类任务DS的文档情感,域分类任务DD的文档域(新闻分类),具体取决于任务。 此外,我们还允许在每个迭代中的组件之间传递消息。针对这个问题,我们将信息从AE任务发送到AS任务,如图所示。在T次迭代之后,允许信息通过多个跃点传播的消息传递,我们使用输出变量的值作为预测。对于这个问题,我们只使用AE和AS的输出,因为这些是最终任务,而其他任务只用于训练。

2.2 论文技术特点(对比文献)

创新点有:

IMN的提出

(Wang et al., 2018; Liet al., 2019)两篇结果表明,集成模型可以获得与流水线方法相当的结果。两者都使用统一的标记方案将问题表述为单个序列标记任务。他们方法的缺点:

1.仅仅通过统一的标记连接两个任务,没有显式的建模它们之间的相关性。

2.这些方法只学习方面级别的实例,实例的大小通常很小,没有利用其它来源的可用信息,比如文档级别的标记的情感语料库.

三、实现方式

下面主要介绍四个组件如何工作,以及如何产出的:

3.1 Aspect-Level任务

3.2 Document-Level任务

目的:为了解决方面级训练数据不足的问题,IMN能够利用文档级标记的情感语料库中的知识,这些知识更容易获得。

3.3 Message Passing Mechanism(消息传递机制)

3.4 Learning

方面级问题的实例只有方面级标签,文档级问题的实例只有文档标签。IMN交替在方面级和文档级实例上进行训练。在aspect级实例中,这个函数如下:

在文档级样本上进行训练时,我们将以下损失最小化:

四、实验结果

4.1 Experimental Settings

结果比较

提出了一种交互式多任务学习网络IMN,用于联合学习方面和观点术语的共同提取,以及方面层次的情感分类。提出的IMN引入了一种新的消息传递机制,允许任务之间进行信息交互,从而更好地利用相关性。此外,IMN能够从多个训练数据源中学习,允许细粒度的token级任务从文档级标记的语料库中受益。该体系结构可能适用于类似的任务,如关系提取、语义角色标注等。

五、附件

5.1、 Ruidan Heyz, Wee Sun Leey, Hwee Tou Ngy, and Daniel Dahlmeier An Interactive Multi-Task Learning Network for End-to-End Aspect-Based Sentiment Analysis [C] Association for Computational Linguistics 504–515

原文地址:https://www.cnblogs.com/yifanrensheng/p/13510878.html