【深度学习】torch中LSTM的参数详细情况

LSTM

 其中:

ft为遗忘门,it为输入门,gt为输入,ot为输出门

weight_ih_l0 = wii wif wig wio 是x的变换

weight_hh_l0 = whi whf whg who 是h的变换

假设为一层的lstm, 将m维向量映射为n维

那么ct, ht均为n维, Wii均为nxm维,weight_ih_l0为4nxm维,Whi均为nxn维,weight_hh_l0为4nxn维

假设为多层的lstm, 那么除了第一层之外,后面的层数都是4nxn的

 
it=σ(Wiixt+bii+Whiht1+bhi)ft=σ(Wifxt+bif+Whfht1+bhf)gt=tanh(Wigxt+big+Whght1+bhg)ot=σ(Wioxt+bio+Whoht1+bho)ct=ftct1+itgtht=ottanh(ct)
原文地址:https://www.cnblogs.com/yesuuu/p/13901593.html