论文阅读（13）Recognizing Implicit Discourse Relations via Repeated Reading: Neural Networks with Multi-Level Attention（2016）

Recognizing Implicit Discourse Relations via Repeated Reading: Neural Networks with Multi-Level Attention（2016）

Motivation

为了模仿 重复阅读策略，我们提出了Neural Network with Multi-level attention（NNMA）, 综合attention机制和external memories，将注意力逐渐固定在一些有助于判断篇章关系的特定词汇上。

Neural Networks with Multi-Level Attention

• One general level：

  • 捕捉 general representations of each argument based on Bi-LSTM

• Several attention

  • NNMA在论元对上生成一个权重向量，以定位与篇章关系相关的重要部分。

• external short-term memory

  • 存储在以前的级别中利用的信息，并帮助 更新论元表示。

• 用循环的方式堆叠这个结构，模拟多次阅读论元的过程。

• 最后使用highest attention level的representation输出来识别篇章关系

算法流程

• 略读，使用Bi-LSTM

• 设计几个attention Levels模拟随后的多次阅读

• 在每个attention level上，外部短期记忆用于存储从以前学到的东西，并指导应该关注哪些单词。为了找出论元中有用的部分，注意力机制被用来预测每个单词的概率分布，指示每个单词应该被关注的程度。 如图。