关系抽取 ---远程监督 ---《Multi-Level Structured Self-Attentions for Distantly Supervised Relation Extraction》

本文准确来说,创新点基本没有,如果说,那就是比其他paper更多的参数。采用2-D的矩阵来进行word和sentence表示,希望能捕获更多的语义信息。

优点:

  (1)在关系抽取中首次提出2Dquery vector,并赋予了其实际意义对2D query vector矩阵的约束个人感觉也是一个小亮点.

  (2)写作思路上清晰无比,实验上紧扣主题,全文都在强调2D,2D,2D。感觉读下好像被洗脑了一样.

  (3)将其他领域的方法较好的借鉴了过来,说明要多阅读各个方面的文章。

缺点:

  缺少创新性,因为方法确实和其他领域的一篇文章太像了.

  

模型结构:

    

   对于一个entity-pair的bag的句子,一共有J个。每个句子由N个word组成

    

   经过BLSTM的输出,H的维度为N*2u,u为LSTM的隐藏单元个数:

    

  之后就是word-attention:

    

     

    

            惩罚项:       

   sentence-level的attention:

         

     

    

 实验:

    

   证明,参数数量越多确实能提高指标...

   

   

原文地址:https://www.cnblogs.com/dhName/p/11909702.html