pix2pix&Cycle GAN&pix2pix HD


这里简短地谈一下如题的三篇论文:

参考:https://blog.csdn.net/gdymind/article/details/82696481

(1)pix2pix:从一张图片生成另一张图片

pipeline如下,其中generator为U-net;

(2)Cycle GAN:pix2pix需要成对图片训练,CycleGAN解决了这个问题,可以不成对,但要同类!

pipeline如下:

(3)pix2pix HD

参考:https://www.jianshu.com/p/eb29a264c71a

 pipeline如下,

上图的Image generator network G具体结构如下:

总的流程:输入原始低分辨率RGB图像,一方面先获得它的Labels(semantic labels语义标签 + 对应的Boundary label),另一方面输入经过一个Encoder得到特征图后根据Labels做average pooling获得instance-wise feature map,然后两者一起输入进G中进行生成,生成器由两部分组成,G1和G2,其中G2又被割裂成两个部分。G1和pix2pix的生成器没有差别,就是一个end2end的U-Net结构。G2的左半部分提取特征,并和G1的输出层的前一层特征进行相加融合信息,把融合后的信息送入G2的后半部分输出高分辨率图像。判别器使用多尺度判别器,在三个不同的尺度上进行判别并对结果取平均。判别的三个尺度为:原图,原图的1/2降采样,原图的1/4降采样。显然,越粗糙的尺度感受野越大,越关注全局一致性。

(Labels)

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM