LSTM
其中:
ft为遗忘门,it为输入门,gt为输入,ot为输出门
weight_ih_l0 = wii wif wig wio 是x的变换
weight_hh_l0 = whi whf whg who 是h的变换
假设为一层的lstm, 将m维向量映射为n维
那么ct, ht均为n维, Wii均为nxm维,weight_ih_l0为4nxm维,Whi均为nxn维,weight_hh_l0为4nxn维
假设为多层的lstm, 那么除了第一层之外,后面的层数都是4nxn的
it=σ(Wiixt+bii+Whiht−1+bhi)ft=σ(Wifxt+bif+Whfht−1+bhf)gt=tanh(Wigxt+big+Whght−1+bhg)ot=σ(Wioxt+bio+Whoht−1+bho)ct=ft⊙ct−1+it⊙gtht=ot⊙tanh(ct)