【深度學習】torch中LSTM的參數詳細情況

LSTM

 

 其中：

ft為遺忘門，it為輸入門，gt為輸入，ot為輸出門

weight_ih_l0 = wii wif wig wio 是x的變換

weight_hh_l0 = whi whf whg who 是h的變換

 

假設為一層的lstm, 將m維向量映射為n維

那么ct, ht均為n維， Wii均為nxm維，weight_ih_l0為4nxm維，Whi均為nxn維，weight_hh_l0為4nxn維

假設為多層的lstm， 那么除了第一層之外，后面的層數都是4nxn的

 

 

$$\stackrel{i^t=\sigma (W^{ii}{x}^t+b^{ii}+W^{hi}{h}^{t-1}+b^{hi})f^t=\sigma (W^{if}{x}^t+b^{if}+W^{hf}{h}^{t-1}+b^{hf})g^t=\tanh (W^{ig}{x}^t+b^{ig}+W^{hg}{h}^{t-1}+b^{hg})o^t=\sigma (W^{io}{x}^t+b^{io}+W^{ho}{h}^{t-1}+b^{ho})c^t=f^t\odot c^{t-1}+i^t\odot g^t}{h^t=o^t\odot \tanh (c^t)}$$