Transform是在神经网络之后又发展的一个比较流行的深度模型，今天就给大家解释一下这个模型的原理。首先先抛出一个问题？神经网络有哪些缺点，或者是LSTM有什么不足之处，以至于让我们又发展了Transform这个深度模型？在这里我自己总结出了几点：
1、 难解释性，神经网络的一个通病，做出来的好坏都比较难解释，
2、 梯度消失和梯度爆炸的问题。
3、 LSTM只能串行计算，不能并行，因为它是一个时序类的模型。
4、 对于翻译这类生成模型计算起来比较复杂，耗时比较长而且效果也不是很好。
5、 由于梯度消失而导致的忽略了部分的特征提取。
等等还有其他原因导致我们在一些任务上处理的不是很好，但是神经网络还在发展阶段，我很看好它们后续的发展。
其实对于nlp常用的LSTM和GRU来说最大的问题还是在于梯度消失和不能并行计算，因此后来的科学家发展了另外一种特征提取的方式或者模型叫做Self-Attention，这也是transform最核心的部分，所以想要了解transform先要了解self-Attention的原理
self-Attention
self-attention的原理很简单，就是计算每个词与所有词之间的"关系"，举个例子:比如有这样的一句话："今天天气很好天空特别蓝"分完词后："今天"，"天气"，"很好"，"天空"，"特别蓝"，他们对应的词向量是V(今天)，V(天气)，V(很好)，V(天空)，V(特别蓝)，self-attention处理过程如图：
由self-attention计算出"今天"与所有单词之间的关系（包括自己），比如与天气的关系是0.3、与很好的关系是0.2等等，然后利用关系加权求和形成新的词向量Z（今天）。这就是self-attention的计算流程。此时的Z（今天）包含了所有单词的信息，也就是上下文信息，如果我们对句子中的每个单词都进行这样的操作，更新每个单词的向量，这样所有词向量就都包含了上下文信息，
这样做的好处是什么呢？
1、 解决了梯度消失的问题，因为我们是计算了两两单词之间的关系，对于每个单词是公平的，所以没有忽略部分特征的提取。
2、 解决了LSTM的不能并行计算的问题，计算单词时并没有依赖的条件，所以完全可以同时计算，也就是并行计算。
3、 比神经网络更具有可解释性
self-attention核心计算
下图就是单词"Thinking"计算与单词"Machines"在self-attention中关系计算的流程图。
1， X1表示"Thinking"的词向量，X2表示"Machines"的词向量也就是模型的输入，需要先做embedding
2， 在X下面有三个向量"q"，"k"，"v"，他们的计算方式如图：
|
|
|
3， 计算出了向量"q"，"k"，"v"，下面计算"Thinking"与其它词之间的关系，这里使用"q""k"来计算，q1k1表示"Thinking"与"Thinking"之间的关系，q1*k2表示"Thinking"与"Machines"之间的关系结果为score。
4，然后我们进行尺度缩放：由于这样计算出来的差异性可能比较大，因此将score除以√dk，dk表示的是维度，√64也就是8这里就是将sore除8
5，将所有score使用softmax进行分类，得出最终的关系概率比如这里"Thinking"与自己的关系是0.88与"Machines"的关系是0.12
6，最后将0.88V1+0.12V2得出计算后"Thinking"的词向量
transform：
Transform类似seq2seq模型。分为编码（Encode）和解码（Decoder）两个模块，如下图，将句子输入到Encoder模型中不断计算，直到计算到最后一层，再映射到Decoder模型中进行解码最后输出结果
再看一下Encoder模块和Decoder模块是什么样子的如下图，Encoder模块是由一个self-attention和一个Feed Forward组成的也就是说：
1、 句子输入到Encoder中使用Self-Attention进行运算，
2、 然后使用一个Feed Forward进行非线性的转化，得出每个单词的对应的词向量，
3、 将输入再转入到下一个Encoder中进行计算，以此类推直，到最后一层Encoder，
4、 Encoder中将最后一层的输出映射到在Decoder中解码。
5、 Encoder和Decoder中的计算核心就是Self-Attention，只是Decoder中多了一个Encoder-Decoder Attention。其实计算原理和Self-Attention是一样的，只是在Encoder-Decoder Attention中V的值是来自最后一层的Encoder
这样Transform的工作流程为下图，先在Encoder中计算然后将最后一层的输出映射到在Decoder中解码，用到的核心技术就是Self-Attention
