生成對抗網絡(GAN與W-GAN)

作者：凱魯嘎吉 - 博客園 http://www.cnblogs.com/kailugaji/

        通過閱讀《神經網絡與深度學習》，了解生成對抗網絡(Generative Adversarial Networks，GAN)的來龍去脈，並介紹GAN與Wasserstein GAN。

1. 基礎知識

KL散度 (Kullback–Leibler Divergence)、JS散度 (Jensen–Shannon Divergence)、推土機距離 (Wasserstein Distance, or Earth-Mover’s Distance)以及Lipschitz連續函數.

2. Vanilla GAN (標准GAN/原始GAN)

判別網絡，生成網絡，以及總體目標函數

最小化交叉熵就是極大似然估計，使其期望最大化。

Vanilla GAN訓練過程

Vanilla GAN進一步分析——梯度消失，分布不重疊時，JS散度恆為log2

Vanilla GAN進一步分析——逆向KL散度導致模型坍塌

3. Wasserstein GAN

拓展：由生成對抗網絡聯想到假設檢驗中的兩類錯誤

生成器：支持原假設，$p_{data}=p_{\theta}$，生成的圖像越真實越好；

判別器：支持備擇假設，$p_{data} \neq p_{\theta}$，越能判別出假圖像越好。

假設檢驗會出現兩類錯誤，本來圖像是真實的，原假設是正確的，但是卻拒絕原假設，認為圖像是假的，這是第一類錯誤；本來圖像是假的，原假設是錯誤的，卻接受原假設，認為圖像是真實的，這是第二類錯誤。統計學告訴我們這兩類錯誤都無法避免，也無法同時使兩者出現的概率都最小，一類錯誤的減少必然會使另一類錯誤增加。一種折中的方案是，只限制犯第一類錯誤的概率，這就是Fisher顯著性檢驗。對於GAN來說，生成器生成了一些重復但是很安全的樣本，缺乏多樣性。

4. 參考文獻

邱錫鵬，神經網絡與深度學習，機械工業出版社，https://nndl.github.io/, 2020.