学习笔记(47)- Mem2Seq

Mem2Seq在DSTC2拥有最高75.3%的Entity F1得分和55.3 BLEU得分

https://github.com/HLTCHKUST/Mem2Seq

Mem2Seq: Effectively Incorporating Knowledge Bases into End-to-End Task-Oriented Dialog Systems (ACL 2018).

论文

Mem2Seq有效结合KB与端到端任务型对话系统

针对RNN存在长时间遗忘的问题,基于MemNN,本文提出了Mem2Seq模型

当前较为流行的端到端任务型对话系统

主要贡献:

1)Mem2Seq是第一个将多跳注意力机制与指针网络结合起来的模型,并允许我们有效地结合知识库信息。

2)Mem2Seq学习了如何动态生成查询去控制Memory的访问,可以可视化memory控制器和attention的跳跃之间的模型动态。

3)Mem2Seq可以更快地进行训练,并在几个任务型对话数据集中实现最先进的结果。

原文的创新点:

  • Mem2Seq是第一个使用带有指针网络思想的多跳注意力机制的模型,这种方法有效的结合了KB的信息。
  • Mem2Seq学习如何生成动态的查询来控制memory的访问。

代码

本仓库实现:

  • Mem2Seq: Memory to Sequence (Our model)
  • Seq2Seq: Vanilla seq2seq model with no attention (enc_vanilla)
  • +Attn: Luong attention attention model
  • Ptr-Unk: combination between Bahdanau attention and Pointer Networks (Point to UNK words)

https://github.com/xuehuiping/Mem2Seq/blob/master/note.md

原文地址:https://www.cnblogs.com/xuehuiping/p/12835628.html