200813_tensorflow2---6、LSTM的用途（杂）
一、总结
一句话总结：
长短期记忆（Long short-term memory, LSTM）是一种特殊的RNN，主要是为了解决长序列训练过程中的梯度消失和梯度爆炸问题。简单来说，就是相比普通的RNN，LSTM能够在更长的序列中有更好的表现。
1、循环神经网络真的很简单，直接按照这个公式计算就好？
$$h _ { t } = anh ( x _ { t } w _ { x h } + h _ { t - 1 } w _ { h h } + ext { bh } )$$
2、rnn展开步数？
需要经过几步得到输出，rnn的展开步数就是几步，比如adcd推断e，那么因为四个输入abcd，就是展开步数就是4
3、l1正则化和l2正则化及区别？
l1正则化：$$operatorname { cost } = ( Wx - ext { real } y ) ^ { 2 } + ext { abs } ( W )$$
l2正则化：$$operatorname { cost } = ( W x - ext { real } y ) ^ { 2 } + ( W ) ^ { 2 }$$
l1正则化和l2正则化区别：也就是后面加的是参数的一次项还是平方项
4、RNN 面临的较大问题？
I)、RNN 面临的较大问题是无法解决长跨度依赖问题，即后面节点相对于跨度很大的前面时间节点的信息感知能力太弱。
II)、长跨度依赖的根本问题在于，多阶段的反向传播后会导致梯度消失、梯度爆炸。可以使用梯度截断去解决梯度爆炸问题，但无法轻易解决梯度消失问题。
5、长短记忆网络（Long Short Term Memory,LSTM）？
(I)、为了解决长期依赖问题，长短记忆网络（Long Short Term Memory,LSTM）应运而生。
(II)、之所以 LSTM 能解决 RNN 的长期依赖问题，是因为 LSTM 使用门（gate）机制对信息的流通和损失进行控制。
(III)、LSTM就是有输入门、遗忘门、输出门、记忆体、候选态、细胞态等，就是模拟生物的一些规则，比如遗忘、比如后面记忆是基于前面知识收获
6、门控循环单元(Gated Recurrent Unit，GRU)？
门控循环单元(Gated Recurrent Unit，GRU)是 LSTM 的一种变体，将 LSTM 中遗忘门与输入门合二为一为更新门，模型比 LSTM 模型更简单。
二、内容在总结中
博客对应课程的视频位置：