本文主要介紹了將卷積神經網絡CNN引入到多曝光圖像融合技術中，通過無監督深度學習提取多曝光圖像對中的特征，融合后重建圖像，最終獲得視覺效果很好的圖像。
高動態范圍成像（High Dynamic Range Imaging,HDRI）技術是一種能夠幫助我們在光線條件較差的情況下捕獲視覺效果更好的圖片的一種技術。它能夠存儲下人眼能夠洞察到的所有光線，而不只是照相機能夠獲取的光線范圍。而HDR圖像產生的一種很常見的方式是多曝光融合（Multiple Exposure Fusion，MEF）。
MEF是將一系列有着不同曝光度的LDR（Low Dynamic Range）圖像融合為一張HDR圖像，這一系列圖像稱為曝光棧（exposure stack）。大部分的MEF算法在任意兩張LDR圖像的曝光差異最小時更加有效。長曝光圖像在黑暗的區域有更好的色彩和結構信息，而短曝光圖像在明亮的區域有更好的色彩和結構信息。
一、基於CNN的用於融合曝光圖像對的無監督圖像融合算法
在其他的MEF算法中，都是依靠人工尋找的特征來融合圖像，這樣在輸入條件發生變化的時候，參數就需要發生變化，那么算法就不魯棒了。且這些算法都有同樣的一個思想：要么在局部或是像素上計算每一幅圖像的權重，融合時將輸入序列中的圖像按照權重相加即可。
在DF（DeepFuse）模型中，輸入發生變化時是不需要進行參數的調整的，它是穩定可靠的。就CNN方法而言，它通過優化損失函數loss function學習模型參數，從而達到盡可能准確地預測輸出的效果。
CNN被用於融合輸入圖像的亮度（luminance）通道，這是由於圖像的結構信息呈現在亮度通道中，亮度變化在亮度通道中比在色度通道中更加突出。在亮度通道（Y）融合以后，再與色度通道（Cb和Cr）結合，獲得最終的輸出圖像。
整個模型的結構有三部分：特征提取層（feature extraction layer）、融合層（fusion layer）和重建層（reconstruction layer）。如下圖所示。
這樣的結構有三個好處：
①能夠讓網絡學習輸入對的相同特征。如圖所示的特征融合方式（先映射再融合）比其他的方式更加有效。濾波器學習的目的是移除鄰域的均值，從而使得特征的亮度是不變的。
②可學習的濾波器數量減半；
③網絡參數少，收斂快。
二、用於比較不同MEF方法的新基准——SSIM（Structural Similarity Index Metric）
SSIM是符合人類視覺系統（HVS）的評判標准。在SSIM結構中，任何圖像塊都能夠用三個部分來建模：structure(s)、luminance(l)、contrast(c)。
圖像塊可以表示為yk=ck*sk+lk，其中圖像的對比值c*應該取max（ck），而s*應該是單位加權和。在圖像局部，亮度對比是不重要的，因此將其忽略，y*=c*·s*。
由此可以用SSIM框架計算出像素p的圖像質量分數Score(p)，損失函數Loss。
→MEF SSIM的損失函數是計算兩張灰度（Y）圖之間的分數的，對於Cb和Cr兩個色度通道是不適用的。RGB表示的圖像也是不能使用的，原因是RGB三個通道是相互關聯的。
三、延伸的試驗評估和與其他針對自然圖像的先進算法的比較
與其他的幾種MEF算法相比較，DF模型擁有自動學習特征，保持圖像亮度的一致性，在曝光不足的圖片中依然能夠完整保護圖像細節，不會產生光環效應。
此外，將CNN方法用於MFF（Multi-Focus Fusion）問題中，即輸入圖像由多曝光變為多焦點圖像，DF模型依然表現很好，並且模型中的參數並不需要進行修改。
總的來說，DF模型從每一張輸入圖像中提取出了一系列底層的特征，通過合並層（merge layer）將所有輸入圖像中的特征對融合為了單一特征，最后使用融合的特征重建圖像，得到了最終的融合圖像。
DF模型的三個優點：
1、Better fusion quality融合質量更好：即使對於極度曝光的圖像對，也能產生很好的融合效果。
2、SSIM over l1優於l1的SSIM評判標准：像MEF SSIM這樣復雜的損失函數在沒有真實數據的情況下能夠和CNN成功地契合。
3、Generalizability to other fusion tasks對於其他融合任務的普適性。