Abstract
建立生成器和判別器,生成器的目的是生成一張主要是紅外信息包含少量可見光信息的融合圖像,判別器的目的是逼迫融合圖像擁有更多可見光圖像中的細節信息。此外還能融合不同分辨率的圖像。
1. Introduction
總共五段。第一段,為什么要做紅外線和可見光的融合。第二段,簡短介紹目前紅外線和可見光的融合方法和他們存在的問題。第三段,提出論文方法,簡短說明原理和優點。第四段,舉了一個具體的融合例子圖文並茂的說明。第五點,總結這篇論文的四點貢獻,提出圖像融合的生成對抗網絡和對應的loss函數、所提方法是端到端的、多提方法在公共的紅外線可見光數據集上做了實驗,效果顯著、所提方法可以融合不同的分辨率圖像。
2.Related work
2.1. Infrared and visible image fusion(以總分的方式介紹傳統方法)
2.2. Deep learning based image fusion(列舉方法,說明存在問題)
2.3. Generative adversarial networks and its variants(由弱到強敘述了GAN的三個工作)
2.3.1. Generative adversarial networks(GAN的首創)
介紹GAN的原理和不足
2.3.2. Deep convolutional GANs(改進:CNN和GAN的聯合,使后者更穩定)(DCGAN)
1.在生成器和判別器中都不用pooling層
2.在生成器和判別器中使用batchnormalization
3.去掉CNN中的全連接層
4.生成器中激活層使用激活函數ReLU,最后一層激活層使用tanh
5.判別器中所有的激活層使用 leaky ReLU激活函數
2.3.3. Least squares GANs(改進:避免梯度消失)(LSGAN)
得在看相關論文
3. Method
3.1. Problem formulation(問題描述)(精華部分)
紅外線和可見光concatenate之后送入生成器,使生成的結果既更像紅外線(這是由生成器的loss函數決定的),又讓判別器看起來像可見光。判別器是在告訴生成器你應該像什么,不應該像上面。
3.2. Network architecture
生成器第一層、第二層使用5x5卷積、batchnorm、ReLU,第三、第四城使用3x3卷積、batchnorm、ReLU,第五層使用1x1卷積,tanh激活。為盡量保留細節信息,不做下采樣。為克服對初始數據的敏感性使用batchnorm。
判別器 本質是一個分類器。第一層到第四層使用激活函數ReLU,都是3x3步長為2的卷積運算。第一層使用池化,第二層到第四層使用batch norm。最后一層是一個線性分類器。
3.3. Training details
以步長為14將45對訓練樣本分成64381對120x120的紅外線可見光圖像。去其中m對送入生成器(先padding至132x132)生成m個120x120的融合圖像。之后拿m對可見光和融合圖像先訓練判別器k次,之后訓練生成器直到達到最大迭代次數為止。測試的時候對裁剪但不使之重疊,輸入生成器,最后將輸出拼接。
4. Experiments
4.1. Fusion metrics
4.2. Experimental validation of fusion performance
4.2.1. Databases and training settings
4.2.2. Results on TNO database
4.2.3. Results on INO database
4.3. Experimental validation of adversarial loss
4.4. Application to fusing images with different resolutions
5. Discussion