《FusionGAN: A generative adversarial network for infrared and visible image fusion》论文笔记


Abstract

建立生成器和判别器,生成器的目的是生成一张主要是红外信息包含少量可见光信息的融合图像,判别器的目的是逼迫融合图像拥有更多可见光图像中的细节信息。此外还能融合不同分辨率的图像。

1. Introduction

总共五段。第一段,为什么要做红外线和可见光的融合。第二段,简短介绍目前红外线和可见光的融合方法和他们存在的问题。第三段,提出论文方法,简短说明原理和优点。第四段,举了一个具体的融合例子图文并茂的说明。第五点,总结这篇论文的四点贡献,提出图像融合的生成对抗网络和对应的loss函数、所提方法是端到端的、多提方法在公共的红外线可见光数据集上做了实验,效果显著、所提方法可以融合不同的分辨率图像。

2.Related work

2.1. Infrared and visible image fusion(以总分的方式介绍传统方法)

2.2. Deep learning based image fusion(列举方法,说明存在问题)

2.3. Generative adversarial networks and its variants(由弱到强叙述了GAN的三个工作)

  2.3.1. Generative adversarial networks(GAN的首创)

    介绍GAN的原理和不足

  2.3.2. Deep convolutional GANs(改进:CNN和GAN的联合,使后者更稳定)(DCGAN)

    1.在生成器和判别器中都不用pooling层

    2.在生成器和判别器中使用batchnormalization

    3.去掉CNN中的全连接层

    4.生成器中激活层使用激活函数ReLU,最后一层激活层使用tanh

    5.判别器中所有的激活层使用 leaky ReLU激活函数

  2.3.3. Least squares GANs(改进:避免梯度消失)(LSGAN)

    得在看相关论文

3. Method

  3.1. Problem formulation(问题描述)(精华部分

  红外线和可见光concatenate之后送入生成器,使生成的结果既更像红外线(这是由生成器的loss函数决定的),又让判别器看起来像可见光。判别器是在告诉生成器你应该像什么,不应该像上面。

  3.2. Network architecture

  生成器第一层、第二层使用5x5卷积、batchnorm、ReLU,第三、第四城使用3x3卷积、batchnorm、ReLU,第五层使用1x1卷积,tanh激活。为尽量保留细节信息,不做下采样。为克服对初始数据的敏感性使用batchnorm。

  判别器 本质是一个分类器。第一层到第四层使用激活函数ReLU,都是3x3步长为2的卷积运算。第一层使用池化,第二层到第四层使用batch norm。最后一层是一个线性分类器。

  3.3. Training details

  以步长为14将45对训练样本分成64381对120x120的红外线可见光图像。去其中m对送入生成器(先padding至132x132)生成m个120x120的融合图像。之后拿m对可见光和融合图像先训练判别器k次,之后训练生成器直到达到最大迭代次数为止。测试的时候对裁剪但不使之重叠,输入生成器,最后将输出拼接。

4. Experiments

4.1. Fusion metrics

4.2. Experimental validation of fusion performance

4.2.1. Databases and training settings
4.2.2. Results on TNO database
4.2.3. Results on INO database

4.3. Experimental validation of adversarial loss

4.4. Application to fusing images with different resolutions

5. Discussion

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM