LLNet理解

• 意義

　　　第一個真正意義上將深度學習一個用在圖像增強上的網絡。

• 要點

1. 提出了堆疊稀疏去噪自編碼器（SSDA），用於對低光照有噪聲圖像進行增強和去噪。
2. 采用MATLAB生成訓練數據，模擬低光環境（因難以獲取自然環境中同一圖片的正常光圖片和低光圖片）。
3. 提出了兩種網絡結構：LLNET、S-LLNET。

• 數據預處理

　　　圖像來源於網絡上的開源數據集，將原始的數據集划分為訓練集和測試集。
　　　訓練集的數據從圖像中提取了422500個點，然后將這些圖像像素數據歸一化到[0,1]區間中。原始的圖像是正常光照下的，論文這里是采用MATLAB中的-imadjust將圖像進行伽馬非線性調暗。

1. 圖片調暗

　　　　

　　　　γ<1，圖片變亮；γ=1，圖片不變；γ>1，圖片變暗。

1. 圖片加噪

　　　　 

 　　　　B在(0,1)區間內，n(·)為噪音函數，g(·)為伽馬調暗函數。

• 網絡結構

　　　　 

　　　　采用三層去噪自動編碼器（DA）堆疊起來作為encoder，每個DA的損失函數為：

　　　　 

　　　　其中，N是patch數，θ是模型參數矩陣，λ、β、是交叉驗證的參數，KL是散度函數，用於計算隱藏層中的稀疏性：

　　　　

　　　　  

　　　　整個網絡結構稱為堆疊稀疏去噪自動編碼器（SSDA），其損失函數為：

　　　　 

　　　　LLNET：將調暗並帶有噪音的圖片作為輸入進行訓練。

　　　　S-LLNET：將調暗的圖片和帶有噪音的圖片分別輸入進行訓練。

• 模型評估

1. PSNR

　　　　PSNR量化含有噪聲圖像的失真程度，PSNR值越大，圖片的降噪效果越好。

1. SSIM

　　　　SSIM被用來評價兩幅圖片的相似相似度。

• 實驗

　　　定義γ=3，=18或25，分別測試了在正常光、暗光、噪點、暗光加噪點情況下的幾組圖片。結果如下：

　　

• 結論

　　　作者通過實驗得到，增加DA層的數量可以提升網絡的性能，但是減小padding stride的尺寸並不能提升網絡性能。

• 未來工作

1. 改進增加的人工噪音，使模型更真實。（泊松噪音、quantization artifacts）
2. 提高圖像細節清晰度。
3. 提高模型穩健性，使其適應多樣化場景。（霧霾、灰塵等）
4. 增加人為測評。