U-Net GAN: A U-Net Based Discriminator for Generative Adversarial Networks

BackGround

1. GAN存在生成同時具有全局（形狀）和局部（紋理）真實性圖像的難題
2. 在現階段的GAN中，Discriminator僅作為一個分類器根據圖像中最具有區分性的差別來更新Generator
3. 由於Generator在不斷更新，Discriminator工作在一個不穩定的環境中，並傾向於忘卻之前學到的特征（在訓練的初始階段由形狀主導判別工作，后期由紋理主導判別工作，但形狀可能出現差錯）
4. 因此Discriminator不容易同時從全局和局部判別圖像

    

Motivation

1. 本文將Discriminator改為U-Net結構，Encoder對輸入圖像進行分類，Decoder對圖像像素進行判別
2. 更強大的Discriminator能提高Generator騙過判別器的難度，從而獲得質量更高的圖像

    

Model

此處僅截取了256的unconditional網絡結構，128及conditional請移步原文

源碼中有提到論文中關於網絡結構的敘述有誤，請結合源碼一並食用

Baseline：BIGGAN[1]

 

Technique

1. CutMix[2]
2. Self-modulation[3]

 

conclusion

在BIGGAN的基礎上實現了具有U-Net結構的Discriminator，並且借助CutMix技術和consistency regularization loss進行訓練，強大的Discriminator迫使Generator提升能力，從而獲得更高質量的圖像。

 

Reference

[1] Brock, Andrew, Jeff Donahue, and Karen Simonyan. "Large Scale GAN Training for High Fidelity Natural Image Synthesis." ArXiv:1809.11096 [Cs, Stat], February 25, 2019. http://arxiv.org/abs/1809.11096.

[2] Yun, Sangdoo, Dongyoon Han, Seong Joon Oh, Sanghyuk Chun, Junsuk Choe, and Youngjoon Yoo. "CutMix: Regularization Strategy to Train Strong Classifiers With Localizable Features," 6023–32, 2019. https://openaccess.thecvf.com/content_ICCV_2019/html/Yun_CutMix_Regularization_Strategy_to_Train_Strong_Classifiers_With_Localizable_Features_ICCV_2019_paper.html.

[3] Chen, Ting, Mario Lucic, Neil Houlsby, and Sylvain Gelly. "On Self Modulation for Generative Adversarial Networks." ArXiv:1810.01365 [Cs, Stat], May 2, 2019. http://arxiv.org/abs/1810.01365.