最近找了十幾篇神經網絡注意力機制的論文大概讀了一下。這篇博客記錄一下其中一篇，這篇論文大概只看了摘要，方法，實驗部分僅僅看了一點。主要是設計出一個名叫ADCM的模塊，然后將這個模塊放入到經典的神經網絡算法中，說到底，論文就是將空間注意力和dropout結合PAD，再將通道注意力和dropout結合CAD，之后將這倆個子模塊放在一起來形成一個模塊ADCM。通道和空間注意力結合起來，之后通過注意力的大小去除一些不必要的模塊。
CAD
CAD，channel attention dropout，就是利用了通道注意力，表示的是哪個通道更加有效，並將所有的通道都打上權重來表示重要性的大小，這里的使用了三個池化層，分別是最大，平均，隨機，將每個通道的空間維度都進行壓縮，出來的結果是一個通道變成了一個值，它將通道里的一張圖片所有的元素進行了平均或者隨機計算。之后對三個池化層使用全連接層，結果是C維向量，C就是C個通道，每個通道一個值，全連接層出來的結果就是channel attention，之后就是dropout mask，表示該通道是否需要，這里高注意力通道更會被保存下來，低注意力通道會被dropout。從厚度來減少大小。整體的思路就是先將每個通道的圖片變成一個值，來表示全體的特征，這里使用了三種池化來表示特征。這時還需要求出通道之間的關系，就需要全連接將所有通道之間的關系求出來，這樣才能求出各通道之間的權重信息。對於全連接層的作用之后再用一篇文章解釋。
PAD
PAD，position attention dropout，它利用空間注意力，表示圖上哪個位置是最有用的，也就是圖片上有效的特征。先使用1x1的pointwise convolution來減少通道數，文中是變成了三個通道數。之后使用3x3卷積操作和sigmoid函數生成poistion attention matrix，采用平均池化的方式，平均池化將三通道變成了一通道，標注每個區域的poistion attention，通過poistion attention來指定每個區域保留的概率，最后使用公式找出dropout mask。
結合模塊
CAD和PAD結合。首先用CAD子模塊來計算得出相關通道，之后計算PAD，先是將之拓展成圖片相同維度。將CAD子模塊的結果與PAD結果互相運算得出結果。
論文的實驗是將ADCM模塊放入到VGGNET和ResNet,並且將之放在網絡的最后倆個卷積層之中。作者從實驗得出放在最后倆層比較，模型會被訓練90epochs，優化方法就是使用SGD，在訓練階段，每30次訓練，學習率就會減少。
個人感覺整個模塊和BAM很像，當然也是模仿了CBAM，CBAM是將通道注意力模塊和空間注意力模塊前后順序放在一起，它是並行放在一起。本文在通道注意力模塊只是加了一個隨機池化層，在空間注意力中減少了一個最大池化層。雖然最終實驗中與CBAM和SENet進行了比較。