MSR-net:Low-light Image Enhancement Using Deep Convolutional Network

• 要点

1. 提出了多尺度Retinex结合CNN的模型。
2. 网络结构中包含残差结构，利用了每一卷积层的信息。
3. 利用反向传播来设定参数W、b，而不是人工设定。（在摘要中提出，且在正文中提及，但并未说明细节）

• Retinex理论

　　原理：

　　https://blog.csdn.net/weixin_41484240/article/details/81326961

　　本文采用了多尺度Retinex理论，对单尺度Retinex进行变形（实验证明变形前后效果差别不大），得到如下公式：

　　 

　　随后形成多尺度Retinex公式：

　　 

　　根据一些实验，可以确定上述公式为：

　　 

　　n为尺度，c为高斯函数的标准偏差，K为卷积层数，但K也需满足如下公式：

　　 

• 数据预处理

　　图像来源于网络上的开源数据集，通过PS来调节亮度和对比度，形成1000张ground-truth图片(HQ)。然后将每张ground-truth图片通过伽马校正随机降低亮度和对比度，生成10张暗光图像(LL)。总计10,000 pairs of HQ/LL images。

• 网络结构　　

　　

　　上层为MSR的模型，在此处作为对比。下层为本文模型，在数据预处理、网络结构都有不同，并在结果输出部分增加了色彩还原处理。

　　数据预处理采用多尺度Retinex理论生成了n张不同程度的暗光图像作为输入，其公式如下：

　　 

　　

　　M表示暗光图片，X1表示经过3*3卷积层得到的feature map。

　　网络结构部分采用CNN结合残差结构，结合每层的feature map与X1做差值得到X2，其公式如下：

　　

　　

　　

　　最后对X2做1*1的卷积操作即可使色彩还原，本文并没有提及细节，所以我不太理解其如何做到色彩还原功能的。实验结果如下图：

　　　 

• 模型评估

1. SSIM

　　　　SSIM被用来评价两幅图片的相似相似度。

1. NIQE

　　　　图像质量评价，评价过程中利用待评价图像特征模型参数与预先建立的模型参数之间的距离来确定图像质量。

1. Running time

　　　　通过训练好的模型测试图片时的运行时间。

• 实验

　　定义n=4，K=10，做了在合成暗光图片、自然暗光图片和色彩插值几方面的对比实验：

　　 

　　

　　

• 结论

　　在增强和色彩还原有所加强。

• 缺陷

1. 对平滑区域（我理解为强光部分，如太阳、灯等）有光晕攻击效果（？）。
2. 测试图像增加噪点后，图像清晰度下降。

• 总结

　　卷积层结合残差结构的网络，在数据处理部分采用多尺度Retinex，但不知道色彩增强的细节部分，有待考究。