关于LSTM核心思想的部分理解

  具体资料可以查阅网上,这里提到一些难理解的点。别人讲过的知识点我就不重复了。

  LSTM 的关键就是细胞状态,按照水平线从左向右运行,如同履带,在整个链上运行。

  

  

 

  根据时间t-1,t,t+1,我们可以看出时间顺序

  

  完整的一个数据图如下图:

  


  LSTM 有称作为“门”的结构来去除或者增加信息到细胞状态的能力。门是一种让信息选择式通过的方法。类比电子元件输入信息。LSTM 拥有三个门。

LSTM过程:

  tips:里面是乘号,就代表相乘,里面是加号,就代表相加,学习这个要类比流程图。

S1: 忘记门

  

  注意:有两个输入:, 经过的变换,得到,就是右边得到的式子。

 

S2:生成补充记忆

  

  的结果可以类比 W·X + b 的形式来记忆,在函数的作用下得到;同理 

S3:“记忆更新”(更新细胞状态)

  

  同样的道理,输入有三个:要在系数的作用下再相加。

 S4:选择性输出

  

  的分析同S2步骤,在 tanh函数以及系数的作用下输出。

以上就是LSTM的过程分析,需要结合专业的资料结合看。

原文地址:https://www.cnblogs.com/qianyuesheng/p/8878458.html