attention

https://www.bilibili.com/video/BV1kE411G7qo?p=13

1.  

 

  I 将index转化为词向量

  G 更新向量中的信息

  O ouput向量

  R 将向量转化为 词/句子

   

Memory Network 流程:

  1.  我们有一些facts 向量John... Bob... 为m1,m2等(这些就是memory); query 为向量U

  2. 先将facts向量与query向量 dot product,生成一些值,再入softmax,得到每个fact的概率 p1,p2..pn

  3. 将概率与 facts向量相乘 再加和,得到memory 向量,用来更新memory

  4. 如果想再走一层,可以将算出来的memory向量u2,再与m1,m2,m3点乘,softmax,带权相乘相加,得到u3,然后将向量输出成 词 kitchen (或者句子),也是用softmax选取u3 对所有已知向量中soft max 最大的对应的词

  5. 而facts vector 或 query vector 都是 bag-of-word 或 word2vec

例如: 

  1. query : football -> u1 : john picked up the football -> u2: john was in playgroud

 

原文地址:https://www.cnblogs.com/ChevisZhang/p/13667572.html