Attention：是一种权重向量或矩阵，其往往用在Encoder-Decoder架构中，其权重越大，表示的context对输出越重要。计算方式有很多变种，但是核心都是通过神经网络学习而得到对应的权重。通常第i步的输出Yi与其Attention权重aij相关，而权重aij与Decoder中的第i-1步的隐藏状态、Encoder中的第j层隐藏状态hj相关。接下来通过分析四篇论文来进一步了解其Attention的用法和构成。
Attention：是一种权重向量或矩阵，其往往用在Encoder-Decoder架构中，其权重越大，表示的context对输出越重要。计算方式有很多变种，但是核心都是通过神经网络学习而得到对应的权重。通常第i步的输出Yi与其Attention权重aij相关，而权重aij与Decoder中的第i-1步的隐藏状态、Encoder中的第j层隐藏状态hj相关。接下来通过分析四篇论文来进一步了解其Attention的用法和构成。