參考這篇文章:
http://blog.csdn.net/hjimce/article/details/50544370
文章里面有不少很有意思的內容。但是說實話,我沒怎么看懂。
本篇博文主要講解2014年ECCV上的一篇經典文獻:《Visualizing and Understanding Convolutional Networks》,可以說是CNN領域可視化理解的開山之作,這篇文獻告訴我們CNN的每一層到底學習到了什么特征
二、利用反卷積實現特征可視化
最后可視化網絡結構如下:


每一整張圖片是網絡的某一層特征圖,然后每一行有8個小圖片,分別表示網絡epochs次數為:1、2、5、10、20、30、40、64的特征圖:

結果:(1)仔細看每一層,在迭代的過程中的變化,出現了sudden jumps;
(2)從層與層之間做比較,我們可以看到,低層在訓練的過程中基本沒啥變化,比較容易收斂,高層的特征學習則變化很大。這解釋了低層網絡的從訓練開始,基本上沒有太大的變化,因為梯度彌散嘛。
(3)從高層網絡conv5的變化過程,我們可以看到,剛開始幾次的迭代,基本變化不是很大,但是到了40~50的迭代的時候,變化很大,因此我們以后在訓練網絡的時候,不要着急看結果,看結果需要保證網絡收斂。
