Duplex Generative Adversarial Network for Unsupervised Domain Adaptation

 

　　域自适应尝试将从源域获得的知识传送到目标域，即测试数据所在的域。主要的挑战在于源域和目标域之间的分布差异。大多数现有工作通常通过最小化分布距离来努力学习域不变表示，例如MMD和最近提出的生成对抗网络（GAN）中的鉴别器。

遵循GAN的类似想法，本文提出了一种新颖的GAN架构，其具有双工对抗性分解器（称为DupGAN），可以实现域不变表示和域变换。具体来说，所提出的网络由三部分组成，一个编码器，一个发生器和两个鉴别器。编码器将来自两个域的样本嵌入到潜在表示中，并且生成器将潜在表示解码为分别以域代码为条件的源域和目标域，即实现域转换。生成器与双重判别器相对应，一个用于源域，另一个用于目标，以确保域转换的实际，潜在表示域不变以及它的类别信息也被保留。

 

 

本文工作　

　　遵循现有的基于GAN的域自适应方法，本文提出了一种名为DupGAN的双工生成对抗网络，以实现域不变特征和域变换。如图1所示，DupGAN由编码器，发生器和双工鉴别器组成。

　　编码器将来自两个域的图像嵌入到潜在表示中;

　　生成器通过将以域代码为条件的潜在表示解码为源或目标域图像来实现域变换;

　　同时为了使得生成的图像看起来像真实的源域图像或目标域图像，引入双工鉴别器进行约束，一个用于区分真实或伪源域图像而另一个用于区分是否真正来自目标域。此外，任何一个鉴别器不仅负责区别域的真假，还要对真实图像进行分类以使得潜在表示域不变并保留其类别信息。

　　基于此，我们在潜在表示上建立分类器，用于预测目标域图像的标签。

 

·      图1中显示了所提出方法的概述。编码器，表示为，尝试将来自源域或目标域的任何图像映射到潜在表示。表示为的生成器将潜在表示解码为由域代码调节的源或目标域图像，即，实现域变换。生成器针对双工鉴别器进行挖掘，一个用于源域，另一个用于目标域，分别表示为和，以将输入到生成器中的潜在表示约束为域不变。堆叠在编码器上的分类器（表示为）尝试区分来自源域和目标域的图像类别，并且还有助于最终分类。此外，每个鉴别器不仅区分真实图像和生成图像，而且还区分真实图像的类别信息，以便强制潜在表示z是域不变的并且保留类别信息。源域图像和来自生成器G的对应物的标签都是可用的，可以直接在Ds和Dt中使用。然而，目标域图像的标签及其与生成器G的对应物不可用，因此在优化Dt时使用从分类器C预测的伪分类标签。

 编码器和生成器

　　编码器E的目的是将输入图像从源域或目标域转换为潜在表示z，如下所示：

其中E可以是任何类型的深度神经网络，参数表示为WE。为方便起见，任何源或目标域样本的潜在表示分别表示为

然后，源域图像和目标域图像的整个潜在表示空间分别表示为

 

所以

 

       我们希望潜码表示z具有域不变性。首先，只考虑将所有样本转换为仅源域的一条路径，生成器G尝试将z从任一域解码为源。因此，z倾向于是关于源的粗略联合子空间。与之类似的的目标的另一条路径，z倾向于是与目标相关联的粗略联合子空间。在使用两个路径进行优化期间，来自两个路径的z的梯度将在它们彼此冲突时折衷，这将导致一个共同的子空间，更不用说存在共性的优势，这是我们解决域不变性的关键。

 

　　生成器公式化如下：

其中域代码用于指定潜在表示转换为哪个域。与E类似，也可以是任何类型的深度神经网络，其参数表示为WG。输入图像可以来自源域或目标域，并且可以分别转换为源域和目标域。因此，生成器生成四种类型的图像，详述如下

 

 

 

 

 

为了容易实现，拟将潜在表示和域代码连接成一个长向量用来作为的输入。对于源域图像，当转换为源域时，生成的图像应该与自身相同，并且当转换到目标域时，受鉴别器的约束，生成的图像应该看起来类似于具有类别不变的真实目标域图像。

　　编码器和生成器的目标函数如下：

 

其中H表示交叉熵，a是一个平衡参数，第一和第三项加强执行潜在表示，以通过生成器和双鉴别器和之间的对抗性学习来保留跨域和类别信息。第2和第4项是从其原始域生成的那些图像的重建约束。

　　样本Xst是从源域转变的，因此它的类别期待是与Xs相同，它的标签采用如下的one-hot编码：

 

 

　　样本Xts是从目标域转变的，因此它的类别期待是与Xt相同，但是目标域的数据是没有标签的，因此，我们使用分类器C估计Xt的类别，Xts与Xt的label一样，标签形式如下：

 

 

 

 

 在yts和yst中最后一个节点是对于假样本。当优化生成器的时候，图像Xts和Xst被期待是真的，最后一个节点被设置为0。

双工判别器

　　双工鉴别器的功能是将真实图像与伪图像区分开，并且还对真实源图像和目标图像进行分类。在所提出的DupGAN的总体方案中，双工鉴别器堆叠在发生器G上以确保从发生器产生的图像看起来是真实的并且保留它们的类别信息（例如，来自一个域的“1”的图像仍然是“ 1“但转换到其他域时不是其他类别之一”），这可以进一步加强潜在表示z域不变和信息。由于难以直接约束未标记的目标域图像的标签一致性，我们首先为真实目标域图像提供伪标签，然后强制其生成的样本与之相同标签。

　　具体地，源域的鉴别器Ds尝试区分具有源域样式的样本，即真实图像Xs和生成的图像Xts。此外，还对真实图像进行分类。因此Ds的输出是具有c + 1个节点的softmax层，其中前c节点表示真实图像的类别，最后一个表示输入图像的真假。与E和G类似，和都可以是任何类型的深度神经网络，它们的参数表示为。

　　当输入为Xs时，Ds应将其分类为c个实类中的一个，即目标标签是来自Xs的图像的已知分类标签，详述如下：

　　　　

　　当输入为Xts时，Ds应将其分类为假类。目标标签如下

 

 

 

　　 标签〜和〜是单一编码。当输入图像是真实的，其真实类的节点被设置为1，并且包括指示虚假的第（c + 1）节点的其他节点被设置为0.当输入图像是假的，即生成时，第（c + 1）个节点设置为1，其他节点（即实际节点）设置为0。

 类似地，鉴别器Dt尝试对目标域进行真/假判别和类别分类。 Dt的输入由来自Xt和Xst的图像组成，输出也被建模为具有c + 1个节点的softmax层。输入图像xt(标签由分类器C得到)和xst的目标标签如下：

 

 

　　此处Yst和Yts前C维都是0。

       总之，双工鉴别器Ds和Dt的目标函数如下：

 

 

 

其中H（·，·）是交叉熵损失，WD表示Ds和Dt的参数。

 　 应该注意的是，~yst和~yts在发生器和双工鉴别器之间的对抗优化期间配备有不同的值。当优化Ds和Dt时，预期Xst和Xts的激活位于最后一个节点中，如等式（11）和（13）中所示，以强制它们能够区分真实图像和伪图像。当优化发生器G时，预期Xst和Xts的激活位于第一c个节点中，如等式（10）和（12）中那样，以强制生成能够产生真实图像的生成器。 

     有一点不明白的优化G的时候中Yts和Yst最后一个节点设置为1,而优化D的时候Yts和Yst最后一个节点设置为0？

 

分类器

　　对于分类分类，在潜在表示z上建立分类器C，其目标函数如下：

其中C可以用任何类型的具有softmax输出的深层网络层构造，H（·，·）是交叉熵损失，WC代表C的参数。通过分类器C估计已经在等式（9）和（12）中示出的目标域的伪标签yt。值得注意的是，等式（15）中的第二项仅包含具有高置信度的那些伪标记样本。前提是高度自信的伪标签大多是正确的[6,40]和共性的主导[2]，yt也可用于训练C而不会降低性能。分类器C需要仅利用源域图像进行预训练，以确保初始传输能力，即，由于域自适应中的共性的优势，能够以高置信度获得大部分正确伪标记的目标域样本。因此，第二项中样本的数量在一开始就很少甚至为零，随着训练的进行而变得更大

　　此外，C进一步有助于获得域不变表示z，因为z中的域特定部分将被G丢弃或隐藏，为了欺骗不仅具有真/假辨别而且还有类别分类功能的Ds和Dt。因此，只有z中的域不变部分可以被Ds和Dt利用，并且z往往是域不变的，以避免G中的信息丢失。

 

 总体目标

　　总体目标函数可以表述如下：

 

 其中B是一个平衡参数

 　　生成器和双工鉴别器以对抗方式进行优化，这可以确保来自发生器的图像是真实的并且保留其类别信息。像所有对抗性学习方法一样，用于优化G和D的生成图像的标签是不同的，如等式（8），（9），（11）和（13）所示。因此，整个网络以另一种方式进行优化，即替代梯度下降WD和{WE，WG，WC}。算法1中显示了详细的优化过程。

 

 

与相关工作的不同

　　与DANN和ADDA 的区别

　　DANN和ADDA都将目标域样本映射到深度特征空间中的源域，其中应用了域分类的对抗性丢失。当映射到源域时，它们都不能保证目标域特征空间的结构不会失真。相反，我们的DupGAN不仅减轻了域差异，而且通过具有附加分类任务的双工鉴别器保留了目标域的类别结构。此外，我们的DupGAN能够在域之间进行图像转换，而DANN和ADDA则不能。

　　与DRCN(Deep Reconstruction-Classification Networks )的区别 

　　DRCN结合了源域的分类任务和目标域的重构任务，找到了两个域的共享特征空间，但是，共享表示更多地优先于源域。更有利的是，我们的DupGAN采用生成器和双工鉴别器之间的对抗性学习来明确地确保潜在表示域不变。

　　与DTN ，CoGAN 和UNIT的区别

　　所有DTN，CoGAN，UNIT和我们的DupGAN都遵循生成对抗网络的思想来实现跨域表示和域转换。然而，所有其他三种方法只进行真/假的对抗性学习，这可能导致域变换过程中的结构失真。不同的是，在我们的DupGAN中，域对抗性学习与类别分类耦合在一起，导致域不变的潜在表示和域变换，类别信息不失真。

　　与kNN-Ad 和ATDA(Asymmetric Tri-training for Unsupervised Domain Adaptation)的区别

　　KNN-Ad和ATDA都通过重新标记未标记的靶区域来实现无监督的域适应。在这两种方法中，目标域的标记主要基于源域样本，而没有明确考虑域差异。在我们的DupGAN中，目标域的标签基于域不变的潜在表示，可以实现更自信的类别标签。此外，我们的方法可以进行域转换，而kNN-Ad和ATDA都不能。

 

实验

 

　　手写数字分类

 

 

本文的作者进一步可视化学习潜在表示的分布，以研究域适应的影响在SVHN------->MNIST实验中，

 

 

 
（a）显示原始源和目标域样本的分布;
（b）显示了由我们提出的DupGAN获得的源域和目标域样本的潜在表示的分布。源域和目标域样本分别以红色和蓝色显示，并且类别以不同的形状绘制。

 

如上图所示，DupGAN的潜在表示空间中的差异显着减小。此外，来自两个领域的样本的类别结构如预期的那样保存完好，这有利于最终分类。

 

此外，上图显示了从SVHN到MNIST数据集的域变换图像。本文的方法可以有效地实现保留类别信息的图像变换。

 

 　　消融实验

　　　　我们还尝试进行无监督域适应的消融研究在MNIST---->USPS和SVHN---->MNIST。即仅使用分类器C训练和重建损失（表示为DupGAN-woA），没有鉴别器训练（表示为DupGAN-woAD），并且仅使用分类器C进行训练（表示为DupGAN-woADG）

可以看出，当移除一个或多个部件时，性能降低。删除的部件越多，性能越差。结果还表明，所有部件都是合理设计的，它们相互协调，形成了一个有效的域适应解决方案，特别是对那些具有挑战性的案例

 

　　无监督预适应对物体识别

　　在Office-31上进行无监督域适应的结果。对于相同的实验设置，我们直接从原始论文中复制相关工作的结果。 “DCNN”是AlexNet的结果，仅使用从DAN复制的标记源域样本进行微调