机器翻译

机器翻译

机器翻译(MT):将一段文本从一种语言自动翻译为另一种语言,用神经网络解决这个问题通常称为神经机器翻译(NMT)。
主要特征:输出是单词序列而不是单个单词。 输出序列的长度可能与源序列的长度不同。

Encoder-Decoder

解决输出序列的长度可能与源序列的长度不同的问题

encoder:输入到隐藏状态
decoder:隐藏状态到输出

Image Name

Sequence to Sequence模型

Seq2Seq一般是通过Encoder-Decoder(编码-解码)框架实现,Encoder和Decoder部分可以是任意的文字,语音,图像,视频数据,模型可以采用CNN、RNN、LSTM、GRU、BLSTM等等

模型:

训练
Image Name
预测

Image Name

预测时decoder每个单元输出得到的单词作为下一个单元的输入单词
预测时decoder单元输出为句子结束符时跳出循环
每个batch训练时encoder和decoder都有固定长度的输入

具体结构:

Image Name

原文地址:https://www.cnblogs.com/yu212223/p/12328172.html