U-Net GAN: A U-Net Based Discriminator for Generative Adversarial Networks

BackGround

1. GAN存在生成同时具有全局（形状）和局部（纹理）真实性图像的难题
2. 在现阶段的GAN中，Discriminator仅作为一个分类器根据图像中最具有区分性的差别来更新Generator
3. 由于Generator在不断更新，Discriminator工作在一个不稳定的环境中，并倾向于忘却之前学到的特征（在训练的初始阶段由形状主导判别工作，后期由纹理主导判别工作，但形状可能出现差错）
4. 因此Discriminator不容易同时从全局和局部判别图像

    

Motivation

1. 本文将Discriminator改为U-Net结构，Encoder对输入图像进行分类，Decoder对图像像素进行判别
2. 更强大的Discriminator能提高Generator骗过判别器的难度，从而获得质量更高的图像

    

Model

此处仅截取了256的unconditional网络结构，128及conditional请移步原文

源码中有提到论文中关于网络结构的叙述有误，请结合源码一并食用

Baseline：BIGGAN[1]

 

Technique

1. CutMix[2]
2. Self-modulation[3]

 

conclusion

在BIGGAN的基础上实现了具有U-Net结构的Discriminator，并且借助CutMix技术和consistency regularization loss进行训练，强大的Discriminator迫使Generator提升能力，从而获得更高质量的图像。

 

Reference

[1] Brock, Andrew, Jeff Donahue, and Karen Simonyan. "Large Scale GAN Training for High Fidelity Natural Image Synthesis." ArXiv:1809.11096 [Cs, Stat], February 25, 2019. http://arxiv.org/abs/1809.11096.

[2] Yun, Sangdoo, Dongyoon Han, Seong Joon Oh, Sanghyuk Chun, Junsuk Choe, and Youngjoon Yoo. "CutMix: Regularization Strategy to Train Strong Classifiers With Localizable Features," 6023–32, 2019. https://openaccess.thecvf.com/content_ICCV_2019/html/Yun_CutMix_Regularization_Strategy_to_Train_Strong_Classifiers_With_Localizable_Features_ICCV_2019_paper.html.

[3] Chen, Ting, Mario Lucic, Neil Houlsby, and Sylvain Gelly. "On Self Modulation for Generative Adversarial Networks." ArXiv:1810.01365 [Cs, Stat], May 2, 2019. http://arxiv.org/abs/1810.01365.