循环神经网络——初识

一、概念

 循环神经网络主要用于处理序列类型的数据,其结构如下图所示。其实,一个简单的循环神经网络只有一个神经元,在处理序列类型的数据,如文本信息时,每次可以输入一个字(可以用one-hot形式表示),然后输出一个结果,当输入下一个字的时候,神经元里的参数是训练上一个字留下来的,为了形象的画图就把一个神经元展开成多个了。

 二、具体结构

它的内部结构,其实是,首先当前输入状态的向量加上当前状态向量形成一个新的向量,然后经过一层全连接(full1)并激活后产生了一个新的向量,这个向量的长度要和状态向量的长度一致;所得到的新的向量将作为下一次选练的状态,同时,输出层要利用这个新向量做一个全连接(full2)产生输出结果。所以,整体而言,一个rnn_cell 里面的参数包括,状态向量,内部全连接full1的权重和偏置,输出层全连接full2 的权重和偏置    。下图是一个样例

 

原文地址:https://www.cnblogs.com/z-bear/p/13764573.html