机器人写诗项目——递归神经网络（RNN）

传统神经网络与递归神经网络对比

传统神经网络

在这里插入图片描述

递归神经网络

在这里插入图片描述

等价于

在这里插入图片描述

RNN网络细节

在这里插入图片描述
x_t表示第t=1,2,3…step的input
s_t为隐藏层的第t step的state，它是网络的记忆单元
s_t=f(Ux_t+Ws_t-1)，其中f一般是非线性的激活函数
o_t是第t step的output，如下个单词的向量表示softmax(Vs_t)

RNN的反向传播

在这里插入图片描述

RNN升级LSTM

在这里插入图片描述

C：控制参数

决定什么样的信息会被保留，什么样的会被遗忘。
要通过训练得到。

在这里插入图片描述
门是一种信息选择式通过的方法
sigmoid神经网络层和一乘法操作

Sigmoid层输入0~1之间的数值，描述每个部分有多少量可以通过。
0代表“不允许任何量通过”，1代表“允许任意量通过”。

决定丢弃信息

在这里插入图片描述

确定更新的信息

在这里插入图片描述

更新细胞状态

在这里插入图片描述

输出信息

在这里插入图片描述
利用新的控制参数产生output

LSTM网络架构

在这里插入图片描述

【推广】免费学中医，健康全家人

原文地址：https://www.cnblogs.com/AlexKing007/p/12338215.html