目的:合成(synthesis)高分辨率圖像
方法:提出一種新的變種條件標簽GAN
貢獻:提出ACGAN,提出新的生成圖片質量(可判別性和多樣性 discriminability and diversity of samples)評估方法Inception Accuracy和MS-SSIM,得出結論:高分辨圖片在ACGAN下可以更為准確地做classification(Across 1000 ImageNet classes, 128 _ 128 samples are more than twice as discriminable as artificially resized 32 _ 32 samples. In addition, 84.7% of the classes have samples exhibiting diversity comparable to real ImageNet data.1)。
核心:In this work we demonstrate that that adding more structure to the GAN latent space along with a specialized cost function results in higher quality samples.
模型架構:
Loss函數:
The objective function has two parts: the log-likelihood of the correct source, LS, and the log-likelihood of the correct class, LC.
D is trained to maximize LS + LC while G is trained to maximize LC -LS.
Inception accuracy:
OpenAI提出Inception Score用以評價合成圖像的真假,本文作者認為在生成圖像不符合人的視覺感知時,Inception Score依然可能會很高,所以評判不准確。於是,作者將合成的圖像輸入訓練好的Inception V3模型,對比模型的分類准確率。
不同分辨率的生成圖片的Inception accuracy對比,人工降低分辨率后,accuracy也隨之降低,說明生成的高分辨率圖片不僅含有像素信息,還有一些幫助提高accuracy的信息。
總結:ACGan立足添加標簽約束,以提高(高分辨率)圖片生成質量,並提出新的生成圖片質量和模式坍塌衡量標准。作者在附錄中闡明了標簽數量對模型穩定性的影響,實驗中訓練了100個AC-GAN,每個對10個標簽進行分類。本文沒有過多與其他現有的生成模型進行比較測試。