0.背景 Tim Salimans等人認為之前的GANs雖然可以生成很好的樣本,然而訓練GAN本質是找到一個基於連續的,高維參數空間上的非凸游戲上的納什平衡。然而不幸的是,尋找納什平衡是一個十分困難的問題。在現有的針對特定場景算法中,GAN的實現通常是使用梯度下降的方法去訓練GAN網絡的目標 ...
本文來自 Wasserstein GAN ,時間線為 年 月,本文可以算得上是GAN發展的一個里程碑文獻了,其解決了以往GAN訓練困難,結果不穩定等問題。 引言 本文主要思考的是半監督學習。當我們說學習概率分布,典型的思維是學習一個概率密度。這通常是通過定義一個概率密度的參數化族 P theta theta in R d ,然后基於樣本最大似然:如果當前有真實樣本 x i i m ,那么是問題轉 ...
2019-02-12 18:00 0 886 推薦指數:
0.背景 Tim Salimans等人認為之前的GANs雖然可以生成很好的樣本,然而訓練GAN本質是找到一個基於連續的,高維參數空間上的非凸游戲上的納什平衡。然而不幸的是,尋找納什平衡是一個十分困難的問題。在現有的針對特定場景算法中,GAN的實現通常是使用梯度下降的方法去訓練GAN網絡的目標 ...
GAN(Generative Adversarial Nets),產生式對抗網絡 存在問題: 1.無法表示數據分布 2.速度慢 3.resolution太小,大了無語義信息 4.無reference 5.intend to generate same image 6.梯度消失 ...
本文來自《Adversarial Autoencoders》,時間線為2015年11月。是大神Goodfellow的作品。本文還有些部分未能理解完全,不過代碼在AAE_LabelInfo,這里實現了文中2.3小節,當然實現上有點差別,其中one-hot並不是11個類別,只是10個類別。 本文 ...
本文來自《Age Progression/Regression by Conditional Adversarial Autoencoder》,時間線為2017年2月。 該文很有意思,是如何通過當前圖片生成你不同年齡時候的樣子。 假設給你一張人臉(沒有告訴你多少歲)和一堆網上爬取的人臉圖像 ...
0. 背景 Junbo Zhao等人提出的“基於能量的GAN”網絡,其將判別器視為一個能量函數而不需要明顯的概率解釋,該函數可以是一個可訓練的損失函數。能量函數是將靠近真實數據流形的區域視為低能量區域,而遠離的視為高能量區域。和“概率GAN”相似,訓練中,生成器會盡可能生成最小能量時候的偽造 ...
0 背景 在這之前大家在訓練GAN的時候,使用的loss函數都是sigmoid_cross_entropy_loss函數,然而xudon mao等人發現當使用偽造樣本去更新生成器(且此時偽造樣本也被判別器判為對的時候)會導致梯度消失的問題。雖然此時偽造樣本仍然離真實樣本分布距離還挺遠。也就 ...
引言中已經較為詳細的介紹了GAN的理論基礎和模型本身的原理。這里主要是研讀Goodfellow的第一篇GAN論文。 0. 對抗網絡 如引言中所述,對抗網絡其實就是一個零和游戲中的2人最小最大游戲,主要就是為了處理下面的函數\(V(G,D)\): 在實現過程中,如果將D和G都寫入同一個循環 ...
0. Introduction 基於納什平衡,零和游戲,最大最小策略等角度來作為GAN的引言 1. GAN GAN開山之作 圖1.1 GAN的判別器和生成器的結構圖及loss 2. Conditional GAN 圖2.1 CGAN的目標函數 圖2.2 CGAN ...