GAN（Generative Adversarial Nets），產生式對抗網絡
存在問題：
1.無法表示數據分布
2.速度慢
3.resolution太小，大了無語義信息
4.無reference
5.intend to generate same image
6.梯度消失
論文摘要：
1、Goodfellow, Ian, et al. "Generative adversarial nets." Advances in Neural Information Processing Systems. 2014.
做如下優化：
全局最優解為：
訓練過程：
算法描述：先優化discriminator，再訓練generator
latent code插值后出現了漸變特效：
2.Mirza, Mehdi, and Simon Osindero. "Conditional generative adversarial nets."arXiv preprint arXiv:1411.1784 (2014).
優化目標：
好像就是加了label信息。
3.Denton, Emily L., Soumith Chintala, and Rob Fergus. "Deep Generative Image Models using a Laplacian Pyramid of Adversarial Networks."Advances in neural information processing systems. 2015.
不知道這篇論文正式發表沒有。這篇論文似乎就是做了一個GAN和提高分辨率的結合。不過本來就沒有什么語義信息的圖片，就算提高分辨率感覺也沒什么用，所以感覺96x96分辨率的結果沒什么意義。
原理：
整個test過程為：
整個train過程為：
一些例子：
4.Radford, Alec, Luke Metz, and Soumith Chintala. "Unsupervised representation learning with deep convolutional generative adversarial networks." arXiv preprint arXiv:1511.06434 (2015).
這篇論文也不知道發表沒有。
用了很多trick，什么batchnorm，全卷積無全連接，無pooling，用了LeakyReLu。
網絡結構：
個人感覺效果還不錯：
進行了有趣的實驗：
5.Salimans, Tim, et al. "Improved techniques for training gans." arXiv preprint arXiv:1606.03498 (2016).
提出了一些改進的trick。
用feature算距離
加label
效果：感覺沒什么語義信息
6.Chen, Xi, et al. "InfoGAN: Interpretable Representation Learning by Information Maximizing Generative Adversarial Nets." arXiv preprint arXiv:1606.03657 (2016).
主要是為了解決產生一樣的sample的問題
公式：
結果：
7. Arjovsky M, Chintala S, Bottou L. Wasserstein GAN[J]. arXiv preprint arXiv:1701.07875, 2017.
相關鏈接：https://zhuanlan.zhihu.com/p/25071913?utm_medium=social&utm_source=wechat_timeline&from=timeline
https://arxiv.org/abs/1701.07875
對生成器的loss進行散度(JS散度，KL散度)的等價轉換，從而更直觀也更容易分析不同loss對應的相應問題，這種分析比直接分析函數loss或者minmax函數更加容易。為了解決這些問題，引入了Wasserstein距離，替代了原來的loss。這種loss使得生成器的有一定的梯度，防止梯度消失，生成器訓練不動的情況。這種loss還能指示訓練效果以及防止模型崩塌。
8.Li, Chongxuan, Jun Zhu, and Bo Zhang. "Max-Margin Deep Generative Models for (Semi-) Supervised Learning." arXiv preprint arXiv:1611.07119 (2016).
實驗室學長的工作，用GAN做半監督學習。利用generator產生更多的數據，幫助classfier訓練。
9.Wang, Jun, et al. "IRGAN: A Minimax Game for Unifying Generative and Discriminative Information Retrieval Models." arXiv preprint arXiv:1705.10513 (2017).
SIGIR 2017的best paper, 利用GAN的思想總和了檢索領域的兩大主流算法：一種根據關鍵字生成查詢結果，一種評價查詢和文檔之間的關聯性。generator用於生成，discriminator用於關聯性評價。