本文來自《Wasserstein GAN》,時間線為2017年1月,本文可以算得上是GAN發展的一個里程碑文獻了,其解決了以往GAN訓練困難,結果不穩定等問題。 1 引言 本文主要思考的是半監督學習。當我們說學習概率分布,典型的思維是學習一個概率密度。這通常是通過定義一個概率密度的參數化族 ...
.背景 Tim Salimans等人認為之前的GANs雖然可以生成很好的樣本,然而訓練GAN本質是找到一個基於連續的,高維參數空間上的非凸游戲上的納什平衡。然而不幸的是,尋找納什平衡是一個十分困難的問題。在現有的針對特定場景算法中,GAN的實現通常是使用梯度下降的方法去訓練GAN網絡的目標函數,意在找到lost函數最低值而已,而不是真的找零和游戲中的納什平衡。且目標函數本身是非凸函數,其中是連續 ...
2018-01-19 22:32 0 1390 推薦指數:
本文來自《Wasserstein GAN》,時間線為2017年1月,本文可以算得上是GAN發展的一個里程碑文獻了,其解決了以往GAN訓練困難,結果不穩定等問題。 1 引言 本文主要思考的是半監督學習。當我們說學習概率分布,典型的思維是學習一個概率密度。這通常是通過定義一個概率密度的參數化族 ...
GAN(Generative Adversarial Nets),產生式對抗網絡 存在問題: 1.無法表示數據分布 2.速度慢 3.resolution太小,大了無語義信息 4.無reference 5.intend to generate same image 6.梯度消失 ...
本文來自《Adversarial Autoencoders》,時間線為2015年11月。是大神Goodfellow的作品。本文還有些部分未能理解完全,不過代碼在AAE_LabelInfo,這里實現了文中2.3小節,當然實現上有點差別,其中one-hot並不是11個類別,只是10個類別。 本文 ...
本文來自《Age Progression/Regression by Conditional Adversarial Autoencoder》,時間線為2017年2月。 該文很有意思,是如何通過當前圖片生成你不同年齡時候的樣子。 假設給你一張人臉(沒有告訴你多少歲)和一堆網上爬取的人臉圖像 ...
0. 背景 Junbo Zhao等人提出的“基於能量的GAN”網絡,其將判別器視為一個能量函數而不需要明顯的概率解釋,該函數可以是一個可訓練的損失函數。能量函數是將靠近真實數據流形的區域視為低能量區域,而遠離的視為高能量區域。和“概率GAN”相似,訓練中,生成器會盡可能生成最小能量時候的偽造 ...
0 背景 在這之前大家在訓練GAN的時候,使用的loss函數都是sigmoid_cross_entropy_loss函數,然而xudon mao等人發現當使用偽造樣本去更新生成器(且此時偽造樣本也被判別器判為對的時候)會導致梯度消失的問題。雖然此時偽造樣本仍然離真實樣本分布距離還挺遠。也就 ...
引言中已經較為詳細的介紹了GAN的理論基礎和模型本身的原理。這里主要是研讀Goodfellow的第一篇GAN論文。 0. 對抗網絡 如引言中所述,對抗網絡其實就是一個零和游戲中的2人最小最大游戲,主要就是為了處理下面的函數\(V(G,D)\): 在實現過程中,如果將D和G都寫入同一個循環 ...
0. Introduction 基於納什平衡,零和游戲,最大最小策略等角度來作為GAN的引言 1. GAN GAN開山之作 圖1.1 GAN的判別器和生成器的結構圖及loss 2. Conditional GAN 圖2.1 CGAN的目標函數 圖2.2 CGAN ...