2020/03/16 AttentionGAN的注意力機制理解


論文地址:Attention-GAN for Object Transfiguration in Wild Images

最近學習了一下ECCV2018的attentionGAN,文章中attention能自動注意到 前景目標 的現象讓我感覺很神奇,同時又很困惑,在這個以CycleGAN為框架的模型里,也沒有類似監督學習利用標簽方向傳播指導網絡關注感興趣區域的機制啊,怎么attention mask就能注意到 前景目標 呢?,如果我要是想直接轉換背景目標,那這個網絡豈不是很差?

帶着上面的疑問,我仔細閱讀了一下論文的loss。在閱讀過程中,我忽然有一個想法,這個判別器實際上就是有監督學習的分類器,是不是判別器起的作用?有個這個疑問,我進一步分析了一下判別器的作用。

判別器在CYCLE-GAN里的目的就是判斷輸入是否來自B域,那么靠什么來判斷呢?B域數據的共同特點!那什么是B域的共同特點?斑馬!對!在進一步說明之前,還有一個很重要的因素需要補充一下,這也是我為啥沒有理解AttentionGAN的重要因素[捂臉]。。AttentionGAN的訓練數據是這樣的:A域是普通馬,B域是斑馬。這是關鍵!也就是說,A域與B域各自都是 一個類別 (之前做數據集風格轉換,里面有很多類別,所以想當然的認為A域與B域里有多個類別,只不過訓練完了之后,用普通馬來做個測試。。。太想當然了。。),這樣我們就知道B域(以B域為例)的共同特點是 斑馬!

判別器就是通過這個來找到感興趣區域的。B域數據背景可以不一樣,但是前景都是斑馬,這樣一來,判斷輸入是否是來自B域的標准就是判斷是否有斑馬。這樣,判別器就相當於一個有二分類標簽的分類器,這個標簽直接指導編碼器去關注對判別有效的特征——也就是斑馬。這樣,網絡的注意力全部到了斑馬身上,也就是前景目標。

放一張pipline的圖:

總結一下,為什么AttentionGAN能自動關注到前景目標:

  1. 首先受訓練數據集的數據分布影響。由於A域和B與數據各自的代表性特點都是前景目標——馬(A)和斑馬(B)。
  2. 判別器為了判斷輸入是否來自B域,需要判斷輸入中是否有斑馬。為了判斷是否有斑馬,需要把關注點放在輸入圖片中有斑馬的區域——也就是前景目標。

補充:為什么分類器可以自動關注到局部特征
我想GAP-CAMLearning Deep Features for Discriminative Localization這篇論文可以解釋這個問題。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM