MSR-net:Low-light Image Enhancement Using Deep Convolutional Network

• 要點

1. 提出了多尺度Retinex結合CNN的模型。
2. 網絡結構中包含殘差結構，利用了每一卷積層的信息。
3. 利用反向傳播來設定參數W、b，而不是人工設定。（在摘要中提出，且在正文中提及，但並未說明細節）

• Retinex理論

　　原理：

　　https://blog.csdn.net/weixin_41484240/article/details/81326961

　　本文采用了多尺度Retinex理論，對單尺度Retinex進行變形（實驗證明變形前后效果差別不大），得到如下公式：

　　 

　　隨后形成多尺度Retinex公式：

　　 

　　根據一些實驗，可以確定上述公式為：

　　 

　　n為尺度，c為高斯函數的標准偏差，K為卷積層數，但K也需滿足如下公式：

　　 

• 數據預處理

　　圖像來源於網絡上的開源數據集，通過PS來調節亮度和對比度，形成1000張ground-truth圖片(HQ)。然后將每張ground-truth圖片通過伽馬校正隨機降低亮度和對比度，生成10張暗光圖像(LL)。總計10,000 pairs of HQ/LL images。

• 網絡結構　　

　　

　　上層為MSR的模型，在此處作為對比。下層為本文模型，在數據預處理、網絡結構都有不同，並在結果輸出部分增加了色彩還原處理。

　　數據預處理采用多尺度Retinex理論生成了n張不同程度的暗光圖像作為輸入，其公式如下：

　　 

　　

　　M表示暗光圖片，X1表示經過3*3卷積層得到的feature map。

　　網絡結構部分采用CNN結合殘差結構，結合每層的feature map與X1做差值得到X2，其公式如下：

　　

　　

　　

　　最后對X2做1*1的卷積操作即可使色彩還原，本文並沒有提及細節，所以我不太理解其如何做到色彩還原功能的。實驗結果如下圖：

　　　 

• 模型評估

1. SSIM

　　　　SSIM被用來評價兩幅圖片的相似相似度。

1. NIQE

　　　　圖像質量評價，評價過程中利用待評價圖像特征模型參數與預先建立的模型參數之間的距離來確定圖像質量。

1. Running time

　　　　通過訓練好的模型測試圖片時的運行時間。

• 實驗

　　定義n=4，K=10，做了在合成暗光圖片、自然暗光圖片和色彩插值幾方面的對比實驗：

　　 

　　

　　

• 結論

　　在增強和色彩還原有所加強。

• 缺陷

1. 對平滑區域（我理解為強光部分，如太陽、燈等）有光暈攻擊效果（？）。
2. 測試圖像增加噪點后，圖像清晰度下降。

• 總結

　　卷積層結合殘差結構的網絡，在數據處理部分采用多尺度Retinex，但不知道色彩增強的細節部分，有待考究。