基於Keras實現的代碼文檔 (圖+說明)
"Deep Inside Convolutional Networks: Visualising Image Classification Models and Saliency Maps"
saliency map即特征圖,可以告訴我們圖像中的像素點對圖像分類結果的影響。
計算它的時候首先要計算與圖像像素對應的正確分類中的標准化分數的梯度(這是一個標量)。如果圖像的形狀是(3, H, W),這個梯度的形狀也是(3, H, W);對於圖像中的每個像素點,這個梯度告訴我們當像素點發生輕微改變時,正確分類分數變化的幅度。
計算saliency map的時候,需要計算出梯度的絕對值,然后再取三個顏色通道的最大值;因此最后的saliency map的形狀是(H, W)為一個通道的灰度圖。
下圖即為例子:
上圖為圖像,下圖為特征圖,可以看到下圖中亮色部分為神經網絡感興趣的部分。
理論依據
需要注意一下: