11 December 2019
20:32
來自 <https://zhuanlan.zhihu.com/p/44563641>
-
StarGAN
StarGAN是CVPR2018最新提出來的，用於多領域的圖像遷移學習。
論文地址：https://arxiv.org/abs/1711.09020
代碼地址（Pytorch）：https://github.com/yunjey/StarGAN
-----------------------------------------------------------------------------------------------
Pix2Pix模型解決了有Pair對數據的圖像翻譯問題；CycleGAN解決了Unpaired數據下的圖像翻譯問題。但無論是Pix2Pix還是CycleGAN，都是解決了一對一的問題，即一個領域到另一個領域的轉換。當有很多領域要轉換了，對於每一個領域轉換，都需要重新訓練一個模型去解決，即現有的GAN模型為了實現在k個不同的風格域上進行遷移，需要構建k∗(k−1)個生成器，並且還不能跨數據集訓練（標注不能復用）。StarGAN正是為了解決跨多個域、多個數據集的訓練而提出的。在StarGAN中，並不使用傳統的fixed translation（(e.g., black-to-blond hair），而是將域信息和圖片一起輸入進行訓練，並在域標簽中加入mask vector，便於不同的訓練集進行聯合訓練。對比如下圖所示;
本文貢獻：
- 提出StarGAN模型，使用單組GAN模型進行跨domain和跨數據集的訓練
- 展示了mask vector技術來實現上述的訓練過程
-
訓練了角色的面部屬性和面部表情特征的各種圖片
要想讓G擁有學習多個領域轉換的能力，本文對生成網絡G和判別網絡D做如下改動：
- 在G的輸入中添加目標領域信息c，即把圖片翻譯到哪個領域這個信息告訴生成模型。
- D除了具有判斷圖片是否真實的功能外，還要有判斷圖片屬於哪個類別的能力。這樣可以保證G中同樣的輸入圖像，隨着目標領域的不同生成不同的效果。
-
除了上述兩樣以外，還需要保證圖像翻譯過程中圖像內容要保存，只改變領域差異的那部分。圖像重建可以完整這一部分，圖像重建即將圖像翻譯從領域A翻譯到領域B，再翻譯回來，不會發生變化。
其中G和D的網絡訓練過程如下圖所示：
-----------------------------------------------------------------------------------------------
本文的損失函數
首先是GAN網絡通用的損失函數Adversatial Loss，以判斷輸出的圖像是否真實：
其次是類別損失，該損失被分為兩個，訓練判別網絡D的時候，使用真實圖片在原始領域的監督信號進行訓練；而訓練生成網絡G的時候，使用生成之后的圖片在目標領域的監督信號進行訓練。其中訓練D的損失如下（交叉熵損失）：
訓練G的損失如下：
最后一個損失函數是重建損失，主要目的是保證圖片翻譯過程中非關鍵的圖片內容信息保存下來，其中損失函數如下（L-1 norm）：
匯總之后是:
-----------------------------------------------------------------------------------------------
多訓練集進行訓練
在多數據集下訓練StarGAN存在一個問題，那就是數據集之間的類別可能是不相交的，但內容可能是相交的。比如CelebA數據集合RaFD數據集，前者擁有很多膚色，年齡之類的類別，而后者擁有的是表情的類別。但前者的圖像很多也是有表情的，這就導致前一類的圖像在后一類的標記是不可知的。為了解決這個問題，在模型輸入中加入了Mask，即如果來源於數據集B，那么將數據集A中的標記全部設為0。
-----------------------------------------------------------------------------------------------
網上其他StarGAN介紹參考：
https://blog.csdn.net/stdcoutzyx/article/details/78829232
https://www.cnblogs.com/punkcure/p/7977819.html
原文筆記：
-----------------------------------------------------------------------------------------------
-----------------------------------------------------------------------------------------------