1.GRU(Gated Recurrent Unit)
為了克服RNN無法遠距離依賴而提出了LSTM，而GRU是LSTM的一個變體，GRU保持LSTM效果的同時，又使結構變得簡單。
2.GRU結構
GRU只有兩個gate，一個是reset gate，一個是update gate，update gate類似於input gate 和forget gate，
重置門用於控制忽略前一時刻的狀態信息程度，重置門的值越小，說明忽略的越多
更新門用於控制前一時刻的狀態信息被帶入到當前狀態中的程度，，更新門越大，說明前一時刻的狀態信息帶入越多。
輸入兩個值，輸出為一個值，輸入為此使時刻x和上一時刻ht-1，輸出這個時刻的ht
3.LSTM和GRU的不同
3.1結構上
LSTM 3個輸入Xt Ht-1 Ct-1，兩個輸出Ht Ct。GRU兩個輸入，Xt，Ht-1，一個輸出Ht。
LSTM有3個門，而GRU只有兩個門
3.2功能上
GRU參數更少，訓練更快，相比之下需要的數據量更少
3.3記憶方式不同
LSTM是Xt和Ht-1分別權重相乘相加，經過tanh函數，此時得到新memory
GRU為Ht-1權重乘積之后和reset gate相乘，再經過tanh函數，最終得到new memory，reset gate作用是讓這個new memory包括之前ht-1的信息的多少。