注意力机制的本质

注意力机制本质：

　　注意力机制的具体计算过程，可以归纳为两个过程。

　　第一个过程：根据query和key计算权重系数

　　第二个过程：根据权重系数对value进行加权求和