Code Address:https://github.com/junyanz/CycleGAN.
Abstract
引出Image Translating的概念(greyscale to color, image to semantic labels, edge-map to photograph.),並申明了本作的動機,不使用 image pairs來訓練圖片的風格轉換:We present an approach for learning to translate an image from a source domain X to a target domain Y in the absence of paired examples.作者希望能學習一個映射maping G,將域A中的圖片轉換到域B的圖片中,
,反之,也建立一個映射F,
將域B中的圖片轉成域A中的圖片,兩個域的訓練集圖片並不是成對出現。轉換后的圖片需要分別定義自己的D來做訓練,達到欺騙和識別的對抗訓練,使得生成在本域的圖片y'和實際屬於本域的圖片y不可被分辨,這樣在訓練時,可以將原有的GAN結構擴展為cycle的形式
(and vice versa).

Introduction
可能是計算機paper里最富詩情畫意的introduction:
,隨后作者用一定篇幅剖析了人類可以將任何現實中看到的場景映射成莫奈風格的畫作,哪怕莫奈從沒畫過這些場景,那么計算機是否也可以做到這一點呢?這樣得以解決現實中成批出現的訓練集需要耗費極高的采集、制作、標注成本的難題。接着進一步闡述了為什么要用循環的方式來擴展GAN,因為從A到B域映射出來的圖片可能有非常多的可能,並且都滿足B域的分布,加入一個反向映射的循環,可以加強轉換的約束性,同時還能避免GAN中常見的mode collapse的問題,作者稱其為cycle consistent。

Relate Work
作者借鑒的RelatedWork包括: GAN、Image-to-Image Translation、Unpaired Image-to-Image Translation、Neural Style Transfer、Cycle Consistency
Model
模型的Loss方面分為兩個部分:
(1)Adversarial Loss:
對於G:X->Y的映射有

對於F:Y->X的映射也有類似的一個對抗損失
(2)Cycle Consistency Loss:

最終目標函數:

在后面的實驗中,將這幾個loss的作用都進行了直觀的展示,表明缺一不可。
實現
模型架構基於[3],在風格轉換和超分辨率上都表現不錯,使用了instance normalization。並且對D,使用了70*70的PatchGANs,判別70*70的像素的真偽,相對於全像素判別的D減少了參數[4,5,6]。
具體實現中,作者使用了更穩定,生成質量更高的最小二乘GAN的Loss來替換原始GAN(least square loss)[2]:

並且為了避免模式震盪(mode oscillation)[1],作者對Dx和Dy做了一個滯后更新,用之前生成的50張左右圖片來訓練D而不是實時用G生成的圖片來生成
實驗結果(略)
不足
CycleGAN對非成對圖片集的轉換成功主要集中在色彩和貼圖轉換上,在幾何形態上的轉換大多以失敗告終(貓->狗)。此外,與成對數據集的訓練結果相比,依然存在不足。
1.Y. Taigman, A. Polyak, and L. Wolf. Unsupervised cross-domain image generation. arXiv preprint arXiv:1611.02200, 2016
2.Multiclass generative adversarial networks with the l2 loss function.
3.J. Johnson, A. Alahi, and L. Fei-Fei. Perceptual losses for real-time style transfer and super-resolution. In ECCV, pages 694–711. Springer, 2016.
4.P. Isola, J.-Y. Zhu, T. Zhou, and A. A. Efros. Imageto-image translation with conditional adversarial networks. arXiv preprint arXiv:1611.07004, 2016
5. C. Ledig, L. Theis, F. Husz´ar, J. Caballero, A. Cunningham,A. Acosta, A. Aitken, A. Tejani, J. Totz, Z. Wang, et al. Photo-realistic single image superresolution using a generative adversarial network. arXiv preprint arXiv:1609.04802, 2016. 5
6.C. Li and M. Wand. Precomputed real-time texture synthesis with markovian generative adversarial networks. ECCV, 2016. 5
