Retinex-Net 論文解讀

Deep Retinex Decomposition for Low-Light Enhancement

論文地址：https://arxiv.org/pdf/1808.04560.pdf

​ 本文收集了包括低光圖片與正常光圖片的LOL數據集，提出了Retinex-Net網絡，並在數據集上進行了測試。

​ Retinex-Net分為Decom-Net and Enhance-Net, 前者用來將圖片分解為reflectance 和 illumination，后者用來增強illumination.

​ Retinex-Net是end-to-end trainable, 因此，學習到的分解結果在本質上有利於亮度的調整. 在分解網絡的訓練過程中，沒有分解反射和光照的地面真值。該網絡的學習只有關鍵的約束條件，包括低/正常光圖像共享的一致反射率，以及光照的平滑度.

1. 理論基礎

Retinex理論模仿了人類顏色感知系統，將圖片分為reflection與illumination兩部分，即

\[S = R \circ I\tag{1} \]

R表示reflection、I表示illumination、\(\circ\)表示元素層面上的乘法

2.網絡結構

網絡分為Decomposition、Adjustment、Reconstruction三個部分。

Decomposition負責將輸入圖片分解為reflection和illumination兩部分；Adjustment包含去噪、基於encoder-decoder的Enhance-Net，負責去噪reflection與illumination的增強；Recontruction將去噪后的reflection和增強后的illumination融合，得到enhancement result.

2.1 Decom-Net

Decom-Net概述

​ Decom-Net網絡通過low-light image與normal-light image聯合訓練，但在測試集上，Decom-Net只需用單獨的low-light iamge即可, 並且在訓練時不必提供ground truth. 網絡中只需要嵌入必要的信息，包括反射率的一致性和光照圖的平滑度，作為損失函數.

​ Decom-Net將圖像對中的低照度圖像和正常圖像作為輸入數據送入卷積神經網絡進行分解，最后得到光照圖像和反射圖像.根據Retinex理論反射圖像基本接近，但是兩者光照圖像相差很大，這樣把每一張訓練圖像進行分解，然后再送入后面的增強網絡進行訓練。

Decom-Net結構細節

​ 網絡的第一層為3 * 3 Conv，用於提取特征；第二層與第三層在3 * 3 Conv基礎上，增加了Rectified Linear Unit激活函數；第四層3 * 3 Conv將input中的reflection與illumination提取出來；第五層將R與I限制在\([0,1]\)之間.

Decom-Net損失函數

​ 損失L包括三部分：reconstruction loss \(L_{recon}\), invariable reflectance loss \(L_{ir}\), illumination smoothness loss \(L_{is}\), 即：

\[L = L_{recon} + {\lambda}_{ir}L_{ir} + {\lambda}_{is}L_{is} \]

​ \({\lambda}_{ir}\)與\({\lambda}_{is}\)是為了平衡反射一致性與光照平滑性的系數.

​ 1. 基於上述"反射圖像基本接近，但是光照圖像相差很大"的理論，將\(L_{recon}\)定義為：

\[L_{recon} = \sum_{i = low,normal}\sum_{j = low,normal}{\lambda}_{ij}||R_i \circ I_j - S_j||_1 \]

​ 2. \(L_{ir}\)用於約束反射的一致性:

\[L_{ir} = ||R_{low} - R_{normal}||_1 \]

​ 3. \(L_{is}\)用於約束光照平滑度，定義較為復雜. Total variation minimization（TV）經常被用在圖像恢復任務中，它是用來最小化整個圖像的梯度的函數。然而，在圖像結構強烈或亮度變化劇烈的區域，直接使用TV作為損失函數是不好的。這是由於無論區域是文本細節還是強邊界，照明的梯度都會均勻減少。為了使損失感知圖像結構，使用反射圖的梯度對原始TV函數進行加權。即：

\[L_{is} = \sum_{i = low,normal}||\nabla I_i \circ exp(-\lambda_g\nabla R_i)|| \]

​ \(\nabla_{ }\) 包括\(\nabla_h(horizontal)\)與\(\nabla_v(vertical)\), \(\lambda_g\)為了更注意結構，\(exp(-\lambda_g\nabla R_i)\)即為權重，可以在梯度較大的情況下，盡量忽略平滑性約束.

2.2 Enhance-Net

​ Enhance-Net首先經過一系列的下采樣操作，讓網絡更注重光照特性。擁有了大量光照的信息后，上采樣操作將光照放大. 其中的Skip Connetction是為了跳過連接，通過元素之間的求和從下采樣塊引入到對應的鏡像上采樣塊，從而強制網絡學習殘差。

​ Enhance-Net的損失函數包括reconstruction loss \(L_{recon}\)和illumination smoothness loss \(L_{is}\). \(L_{recon}\)表示產生正常光照圖\(\hat{S}\),

\[L _{recon} = ||R_{low} \circ \hat{I} - S_{normal}||_1 \]

\(L_{is}\)表示光照的梯度和

\[L_{is} = \sum_{i = low,normal}||\nabla I_i \circ exp(-\lambda_g\nabla R_i)|| \]

2.3 Denoising Operation

​ 在Decom-Net網絡中，一些噪聲被引入圖片中. 去噪算法采用了BM3D算法（Block-matching and 3D filtering，3維塊匹配濾波）.

​ 論文：Image denoising by sparse 3D transform-domain collaborative ltering