Generative Adversarial Nets[content]

---

0. Introduction

基於納什平衡，零和游戲，最大最小策略等角度來作為GAN的引言

---

1. GAN

GAN開山之作

圖1.1 GAN的判別器和生成器的結構圖及loss

---

2. Conditional GAN

圖2.1 CGAN的目標函數

圖2.2 CGAN的判別器和生成器的結構圖及loss
圖2.2來自這里，圖2.3是來自論文內部，兩者在原理結構上沒任何差別。

圖2.3 CGAN結構圖
如圖2.3所示，CGAN相比於GAN在於，其輸入部分增加了額外的信息，且此額外信息是固定的，如圖像類別或者其他模態中的數據信息。

---

3. Theory-cost

deep multi-scale video prediction beyond mean square error
該文獻中主要關注的是如何基於前面的圖像序列幀預測后面的幾幀（當然預測不了太遠），然后基於傳統的只有L2的loss方式進行了分析，並在引入新的loss的基礎上，加上GAN的網絡結構和訓練方式，解決有監督樣本的問題。因為此時只要告訴判別器是真還是假就行了。本文相對前面文獻在GAN序列中的貢獻主要就是說明了：

• 生成器中的噪音不一定是必須的；
• GAN的結構可以泛化到其他想法上。

---

4. AAE

AAE
該文獻中，主要焦點是如何用AE加上GAN結構，讓AE本身的編碼器能夠將輸入轉換到先驗分布；而解碼器將先驗分布轉換到數據分布，那么在訓練完整個網絡結構后，解碼器就能通過輸入，生成數據分布中的其他樣本。

---

5. DCGAN

GAN網絡結構也是在不斷的挖掘和發展的一個新領域：

• goodfellow提出了“GAN”網絡的結構，作為對抗網絡的開山之作，讓大家知道原來還可以將博弈論的想法用深度學習的網絡結構來實現：即同時訓練一個判別器和一個生成器；
• 后續的“Conditional GAN”的論文中，通過輸入額外的固定信息，可以讓判別器和生成器具有先驗信息，從而能夠用網絡去生成具有特定類型的數據；
• 在“DCGAN”網絡中，作者為了解決GAN網絡難以穩定訓練的問題，特別是之前很多人想將DCNN放入GAN結構中去卻失敗這個難點下手。提出了幾個修改點，並且這幾個點也成為了后續其他GAN網絡的一個參照：

• 將所有的池化層丟棄，並以具有stride>1的卷積來代替；
• 在判別器和生成器中都使用BN來穩定訓練，不過不要在生成器的輸出層和判別器的輸入層上使用BN；
• 將全連接層去掉，即保持網絡是全卷積結構（采用全局平均池化雖然可以增加模型穩定性，不過影響收斂速度，所以沒采用GAP）；
• 在生成器中，所有內部網絡層的激活函數都使用ReLU，而在輸出部分使用Tanh；
• 在判別器的所有層激活函數使用LeakyReLU；
• 生成器網絡結構如圖：
  
  圖5.1 DCGAN中生成器結構圖

在訓練過程中，基本沒什么數據預處理，除了為了適應Tanh的激活函數范圍將數據縮放到[-1,1]；所有權重的統一采用(0,0.02)的標准分布去初始化；在LeakyReLU函數中，alpha值為0.2；采用Adam優化器，且學習率為0.0002，beta1為0.5。

---

6. Improved GAN

Improved GAN
該文獻主要是介紹如何更加穩定的收斂GAN，並不是為了讓模型能夠達到更好的准確度，其中介紹了三種方法：

• feature matching：類似於最大均值差異
• minibatch features：借鑒於部分bn的想法
• virtual batch normalization：bn的一個擴展

不過官方code並不友好，github上倒是有幾個實現，不過多是覺得有問題，musyoku/improved-gan的倒是值得一看，可惜是chainer版本的。

---

7. EBGAN

Junbo Zhao從他老師Lecun之前的一篇論文中得到靈感，將GAN的判別器視為一個能量函數，假設真實數據位於一個流形上，那么靠近真實數據時，得到的能量是低能量。而遠離的，即不在這個流形上的，也就是偽造樣本會呈現高能量的趨勢。並基於此概念結構，實例化的將自動編碼器作為GAN的判別器，以重構誤差作為判別器的目標函數。而對於不添加任何正則的自動編碼器來說，其就是一個恆等函數的映射，會將整個空間都視為0能量，為了避免這個問題，從而添加了一個PT正則：

網絡結構及生成器和判別器的目標函數如下：

圖7.1 EBGAN的網絡結構及對應的目標函數

點這里

---

8. iGAN

iGAN
這是朱俊彥大神的第一份關於圖像編輯的文獻，其后續的pix2pix，CycleGAN都是驚艷之作。本文主要是基於DCGAN模型，通過設定3個特定的約束操作，並將其映射到特定的目標函數約束，從而約束GAN中 生成器的輸入向量上，讓生成器生成添加特定約束的部分（理念上有點像條件GAN）。

9. LSGAN

點這里

---

10. pix2pix

pix2pix
通過cGAN和L1 loss相結合，實現不錯的image-to-image應用。

11. AdaGAN

12. Theory-training

Pre-WGAN
該文是WGAN的前作，意在分析goodfellow提出的原始GAN為什么難訓練的問題，主要就是當生成器分布和真實分布流行如果沒有重疊那么在KL這種判別下會導致梯度為0，而初始的判別器目標函數也是有問題的，雖然本文提出可以在判別器輸入部分增加噪音以解決問題，不過不是完美解決方案，所以接着提出了WGAN

13. Wasserstein GAN

Wasserstein GAN
該問是WGAN的介紹，先通過前文分析了當前GAN訓練為什么失敗的原因，然后提出了一種新的loss及訓練方式，使得GAN的訓練不再具有模式坍塌的情況，而且對應的loss還能指示模型訓練的好壞。

14. CAAE

CAAE
作者基於VAE的思路，加上GAN的判別器作為正則器構建整個網絡，用該網絡去進行人臉年齡的變化。如給你一張5歲的人臉（年齡無所謂，就是提供個人信息），需要給出不同年齡段的該人人臉圖片。

15. BS-GAN

16. CycleGAN

CycleGAN
本文是朱俊彥大神第三篇關於圖像變換圖像的工作，其通過引入循環一致loss，意在讓網絡能學到正向變換的同時，還能變回去。

17. BEGAN

BEGAN
作者提出一個新的均衡執行方法，該方法與從Wasserstein距離導出的loss相結合，用於訓練基於自動編碼器的GAN。該方法在訓練中會平衡生成器和判別器。另外，它提供一個新的近似收斂測度，快而且穩定，且結果質量高

18. WGAN-GP

19. TP-GAN

參考文獻：

0. [github] .tensorflow-generative-model-collections
1. [github] .really-awesome-gan
2. [github] .Awesome-GANs
3. [github] .GAN Timeline
4. [GAN] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C]//Advances in neural information processing systems. 2014: 2672-2680.
5. [CGAN] Mirza M, Osindero S. Conditional generative adversarial nets[J]. arXiv preprint arXiv:1411.1784, 2014.
6. [Theory] Mathieu M, Couprie C, LeCun Y. Deep multi-scale video prediction beyond mean square error[J]. arXiv preprint arXiv:1511.05440, 2015.
7. [AAE] Makhzani A, Shlens J, Jaitly N, et al. Adversarial autoencoders[J]. arXiv preprint arXiv:1511.05644, 2015.
8. -[LAPGAN] Denton E L, Chintala S, Fergus R. Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks[C]//Advances in neural information processing systems. 2015: 1486-1494.
9. [DCGAN] Radford A, Metz L, Chintala S. Unsupervised representation learning with deep convolutional generative adversarial networks[J]. arXiv preprint arXiv:1511.06434, 2015.
10. -[BiGAN] Donahue J, Krähenbühl P, Darrell T. Adversarial feature learning[J]. arXiv preprint arXiv:1605.09782, 2016.
11. -[ALI] Dumoulin V, Belghazi I, Poole B, et al. Adversarially learned inference[J]. arXiv preprint arXiv:1606.00704, 2016.
12. -[f-GAN] Nowozin S, Cseke B, Tomioka R. f-gan: Training generative neural samplers using variational divergence minimization[C]//Advances in Neural Information Processing Systems. 2016: 271-279.
13. [Improved GAN] Salimans T, Goodfellow I, Zaremba W, et al. Improved techniques for training gans [C]// Advances in Neural Information Processing Systems. 2016: 2234-2242.
14. -[CoGAN] Liu M Y, Tuzel O. Coupled generative adversarial networks[C]//Advances in neural information processing systems. 2016: 469-477.
15. [EBGAN] Zhao J, Mathieu M, LeCun Y. Energy-based generative adversarial network[J]. arXiv preprint arXiv:1609.03126,
16. [iGAN] Zhu J Y, Krähenbühl P, Shechtman E, et al. Generative visual manipulation on the natural image manifold[C]//European Conference on Computer Vision. Springer International Publishing, 2016: 597-613.
17. -[ACGAN] Odena A, Olah C, Shlens J. Conditional image synthesis with auxiliary classifier gans[J]. arXiv preprint arXiv:1610.09585, 2016.
18. [LSGAN] Mao X, Li Q, Xie H, et al. Least squares generative adversarial networks[J]. arXiv preprint ArXiv:1611.04076, 2016. code
19. -[infoGAN] Chen X, Duan Y, Houthooft R, et al. Infogan: Interpretable representation learning by information maximizing generative adversarial nets[C]//Advances in Neural Information Processing Systems. 2016: 2172-2180.
20. [pix2pix] Isola P, Zhu J Y, Zhou T, et al. Image-to-image translation with conditional adversarial networks[J]. arXiv preprint arXiv:1611.07004, 2016.
21. -[Mode Regularized GAN] Che T, Li Y, Jacob A P, et al. Mode regularized generative adversarial networks[J]. arXiv preprint arXiv:1612.02136, 2016.
22. -[GAP] Im D J, Ma H, Kim C D, et al. Generative adversarial parallelization[J]. arXiv preprint arXiv:1612.04021, 2016.
23. [AdaGAN] Tolstikhin I, Gelly S, Bousquet O, et al.Adagan: Boosting generative models[J]. arXiv preprint arXiv:1701.02386, 2017.[offical:code]
24. [Theory] Arjovsky M, Bottou L. Towards principled methods for training generative adversarial networks[J]. arXiv preprint arXiv:1701.04862, 2017.
25. [Wasserstein GAN] Arjovsky M, Chintala S, Bottou L. Wasserstein gan[J]. arXiv preprint arXiv:1701.07875, 2017.
26. [BS-GAN] Hjelm R D, Jacob A P, Che T, et al. Boundary-Seeking Generative Adversarial Networks[J]. arXiv preprint arXiv:1702.08431, 2017.
27. [CAAE] Zhang Z, Song Y, Qi H. Age Progression/Regression by Conditional Adversarial Autoencoder[J]. arXiv preprint arXiv:1702.08423, 2017.
28. -[DiscoGAN] Kim T, Cha M, Kim H, et al. Learning to discover cross-domain relations with generative adversarial networks[J]. arXiv preprint arXiv:1703.05192, 2017.
29. [CycleGAN] Zhu J Y, Park T, Isola P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[J]. arXiv preprint arXiv:1703.10593, 2017.
30. [BEGAN] Berthelot D, Schumm T, Metz L. Began: Boundary equilibrium generative adversarial networks[J]. arXiv preprint arXiv:1703.10717, 2017.
31. [WGAN-GP] Gulrajani I, Ahmed F, Arjovsky M, et al. Improved training of wasserstein gans[J]. arXiv preprint arXiv:1704.00028, 2017.
32. -[DualGAN] Yi Z, Zhang H, Tan P, et al. Dualgan: Unsupervised dual learning for image-to-image translation[J]. arXiv preprint,
33. -[MAGAN] Wang R, Cully A, Chang H J, et al. MAGAN: Margin adaptation for generative adversarial networks[J]. arXiv preprint arXiv:1704.03817, 2017.
34. [TP-GAN] Huang R, Zhang S, Li T, et al. Beyond Face Rotation: Global and Local Perception GAN for Photorealistic and Identity Preserving Frontal View Synthesis[J]. arXiv preprint arXiv:1704.04086, 2017.
35. -[Softmax GAN] Lin M. Softmax GAN[J]. arXiv preprint arXiv:1704.06191, 2017.
36. -[DRAGAN] Kodali N, Hays J, Abernethy J, et al. On convergence and stability of gans[J]. ICLR 2018.link
37. --[??] Tero Karras, Timo Aila, Samuli Laine, Jaakko Lehtinen. Progressive Growing of GANs for Improved Quality, Stability, and Variation. arXiv preprint arXiv:1710.10196, 2017. [code-pytorch]
38. -[DeblurGAN] Orest Kupyn, Volodymyr Budzan, Mykola Mykhailych, Dmytro Mishkin, Jiri Matas. DeblurGAN: Blind Motion Deblurring Using Conditional Adversarial Networks. arXiv preprint arXiv:1711.07064, 2017.
39. -[GibbsNet] Lamb A M, Hjelm D, Ganin Y, et al. GibbsNet: Iterative Adversarial Inference for Deep Graphical Models[C]//Advances in Neural Information Processing Systems. 2017: 5095-5104.
40. [SA-GAN] Zhang H, Goodfellow I, Metaxas D, et al. Self-Attention Generative Adversarial Networks[J]. arXiv preprint arXiv:1805.08318, 2018.
41. [BigGAN] Brock A, Donahue J, Simonyan K. Large scale gan training for high fidelity natural image synthesis[J]. arXiv preprint arXiv:1809.11096, 2018.
42. [知乎] .GAN（生成式對抗網絡）的研究現狀，以及在行人重識別領域的應用前景