DNN、CNN、RNN的區別

 

參考1：CNN、RNN、DNN區別

參考2：一文讀懂 CNN、DNN、RNN 內部網絡結構區別

 

一張圖解釋所有：

感知機(輸入層、輸出層、一個隱藏層)-->不能解決復雜的函數-->神經網絡NN出現(多層感知機出現，使用sigmoid或tanh、反向傳播BP算法)-->層數加深，出現局部最優和梯度消失等問題-->深度學習提出(利用預訓練方式緩解局部最優問題)-->DNN出現(克服梯度消失，ReLU和Maxout代替sigmoid)

DNN->全連接DNN出現參數膨脹問題-->CNN出現(卷積神經網絡，參數共享)

DNN-->無法對時間序列進行建模-->RNN出現(循環神經網絡，普通的全連接網絡或CNN，是前向神經網絡，RNN可以直接將輸出作為下一時間段的輸入,深度是時間的長度)

RNN-->依然存在梯度消失的問題(發生在時間軸上)，無法解決長時間依賴的問題-->LSTM出現(長短時記憶單元，通過cell門實現時間上的記憶功能，防止梯度消失)

后來又出現了雙向RNN，雙向LSTM，能能夠同時利用歷史和未來的信息。

 

 結束。