[論文解讀]CNN網絡可視化——Visualizing and Understanding Convolutional Networks

　　概述

雖然CNN深度卷積網絡在圖像識別等領域取得的效果顯著，但是目前為止人們對於CNN為什么能取得如此好的效果卻無法解釋，也無法提出有效的網絡提升策略。利用本文的反卷積可視化方法，作者發現了AlexNet的一些問題，並在AlexNet基礎上做了一些改進，使得網絡達到了比AlexNet更好的效果。同時，作者用“消融方法”(ablation study)分析了圖片各區域對網絡分類的影響（通俗地說，“消融方法”就是去除圖片中某些區域，分析網絡的性能）。

1. 反卷積神經網絡(Deconvolutional Network)

反卷積神經網絡可以看做用與卷積神經網絡相同的卷積核、池化層等等進行的相反過程。為了用反卷積神經網絡去分析卷積神經網絡，我們需要將反卷積網絡各層與卷積神經網絡各層銜接起來。如下圖所示，右半部分進行的是卷積過程，而左半部分進行的是反卷積過程。從右邊卷積的過程開始，首先用卷積核F對上一層池化出來的Pooled Maps進行卷積，得到Feature Maps， 然后在逐步進行Relu歸一化(Rectified Linear)和最大值池化（Max Pooling）。而反卷積過程則是從反最大值池化開始（Max unpooling），逐步得到unpooled、rectified unpooled和reconstruction map。

反卷積神經網絡主要組成部分：

• 反池化：

對於最大值池化來說，它是不可逆的過程，因此作者的技巧就是在池化的時候記錄下每個最大值的位置。這樣的話，在反池化的時候只要把池化過程中最大激活值所在的位置激活，其它位置的值賦0。（具體反池化過程可參考hjimce的博客：http://blog.csdn.net/hjimce/article/details/50544370）

• 反激活：

對於Relu激活函數來，激活值均為非負值。因此對於反向過程，同樣需要保證每層的特征值為非負值，因此Reluctant反激活過程和激活過程相同。

• 反卷積：

卷積網絡就是網絡利用學習到的卷積核對上一層的特征進行卷積得到本層的feature map。而反卷積就是這個過程的逆過程，用本層的feature map與轉置后的卷積核進行卷積，得到上一層的特征。

2. 可視化結果

•  特征層學到了什么？

從上圖可是化的結果中，我們可以看出，不同層的layer學習到的是不同的特征。對於Layer1和Layer2來說，網絡學習到的基本上是邊緣、顏色等圖像中底層的特征；Layer3開始可以學習到一些復雜些的特征，類似網格紋理等；Layer4可以學習到更高維的特征，比如說狗頭、鳥類的腳、同心環等；Layer5則是更加具有辨別性的關鍵特征。

• 特征層是如何隨訓練演化的？

上圖展示了網絡中各個特征層是如何隨着訓練步數而進化的。各子圖中每列分別代表訓練了[1,2,5,10,20,30,40,64]個epoch。可以看出，對於較低的特征層來說，它們的特征很快就學到並穩定下來了。而對於像Layer5這樣比較高維的特征層來說，則是在學習了30個epoch后才學習到了比較有辨別性的關鍵特征。說明訓練步數的增加還是能夠比較好地提升網絡的學習和收斂能力的。

• 可視化網絡如何提升網絡性能？

作者可視化了原版AlexNet各特征層，發現了對於AlexNet來說，第一層的卷積核大部分是高頻和低頻的特征，而對中頻段圖像特征整提取得不好。同時，第二層特征的可視化的結果顯示出了由於第一層卷積步長太大（4）導致的“ 混疊偽影”。因此作者對AlexNet的改善包括：將第一層的卷積核從11x11減小為7x7；將卷積步長減小為2，而不是4。經過作者改善后的模型在ImageNet2012的分類誤差均比AlexNet有提高。

• 消融分析(Ablation Analysis)

作者用消融分析對三張圖進行了分析，發現當遮擋掉圖片中的關鍵部位后，相關卷積核卷出來的特征激勵會大幅變小（上圖第二列）。同時發現遮擋掉關鍵部位后，網絡很容易將圖片放入錯誤的分類中去，而遮擋一些背景部位則不會（第五列）。

這篇文章是CNN網絡可視化相關研究非常重要的一篇文章，在這之后的許多研究工作都基於了這篇文章的成果。所以說是研究CNN 網絡可視化的必讀文獻也不為過。

參考資料：

1. http://blog.csdn.net/hjimce/article/details/50544370

2. Zeiler, M. D. and Fergus, R. Visualizing and understanding convolutional networks. In ECCV, 2014.