論文地址：https://arxiv.org/pdf/1912.13171.pdf
一、背景與動機：
數字圖像設備已經被應用在天氣預測、災難救援、安全監控與醫學診病等多個領域。然而數字設備常受到相機抖動、運動的物體、暗光和噪聲等影響而導致捕獲的照片不干凈。因此圖像去噪技術的研究具有重要的理論和實際應用價值。
圖像去噪技術在20世紀90年代已經成為研究熱點。例如：用非局部相似性來優化稀疏方法能提高去噪的性能。字典學習有助於快速移除噪聲。先驗知識通過平滑噪聲圖像來恢復潛在干凈圖像的細節。更多競爭去噪方法包括MRF 、WNNM 、LSSC、CSF 、TNRD和GHEP能被利用。
雖然這些大部分方法在圖像去噪上能達到好的性能，但是他們有以下缺點：
(1) 在測試階段涉及復雜優化方法,
(2) 手動設置參數,
(3) 一個固定的模型來處理單個去噪任務。
擁有靈活的結構，強的自學習能力的深度學習技術能用來解決這些不足。
二、深度學習在圖像去噪方面的基礎框架
Machine learning methods for image denoising：
有監督與無監督機器學習
Neural networks for image denoising：
Convolutional neural networks for image denoisin：
VGG、GeogLeNet、ResNet、GAN
Hardware and software of deep learning techniques：
三、深度學習在圖像去噪中的應用
外加白噪聲圖像去噪(additive white noisy-image denoising):
CNN/NN for AWNI denoising
根據噪聲的屬性設計不同網絡結構是極為關鍵的，設計網絡結構有以下方式：
（1）利用多視角來設計網絡；包括三種類型：一幅噪聲圖像作為多個子網絡的輸入；一個樣本的不同角度作為網絡的輸入；一個網絡的不同通道作為輸入。
（2）改變Loss函數；
（3）增加CNN的寬度或者深度；
（4）在CNN中增加任意的插件；任意插件包括激活函數、空洞卷積、全連接層和池化層等
（5）在CNN中使用跳躍連接 (Skip connection)或者級聯操作（Cascaded operations）；包括skip connection和cascaded operation。
CNN/NN and common feature extraction methods for AWNI denoising
That can be divided into five categories: weak edge-information, non-linear, high dimensional and non-salient noisy images, and high computational costs.
對於weak edge-information noisy images來說，CNN with transformation domain method來移除噪聲是非常有效的。
對於non-linear noisy images來說，CNN with kernel method在恢復潛在干凈圖像是非常有效的。
這類方法一般有三步：
第一步用CNN來提取特征，
第二步用核方法把非線性特征轉為線性特征，
第三步利用殘差技術來重構潛在的干凈圖像。
對於high dimensional noisy images來說，CNN和降維方法的組合是常用的去噪方法。
對於non-salient noisy images來說，信號處理方法能引導CNN來提取顯著的特征。
對於high computational cost， CNN和圖像的屬性結合能有效地降低復雜度。
The combination of optimization method and CNN/NN for AWNI denoising：
1) improvement of denoising speed；
2)Improvement of denoising performance ；
真實圖像去噪(real noisy image denoising):
single end-to-end CNN
設計網絡結構對處理真實噪聲圖像是流行的。把多尺度、Skip connection、batch renormalization、dilated convolutions、attention mechanism融合到CNN中都能有效處理真實噪聲圖像。
the combination of prior knowledge and CNN
把CNN和先驗知識組合能很好地解決真實噪聲圖像。驗證知識包括HQS、TV和channel prior。
盲去噪(blind denoising):
利用image device和soft shrinkage和CNN/NN結合能很好地進行blind denoising。
混合噪聲圖像去噪(hybrid noisy image denoising):
用warped guidance和CNN組合，單一的CNN以及CNN和iterative algorithm組合都能很好地移除混合噪聲。
四、實驗結果
Datasets
Training Datasets
BSD400、Waterloo Exploration Database和polyU-Real-World Noisy Images
Test Datasets
Set12、BSD68、CBSD68、Kodak24、McMaster、CC、DND、NC12、SIDD和Nam
Experimental results
看論文
五、討論
深度學習一般在圖像去噪上都是提高圖像性能、去噪效率和復雜的噪聲圖像。
提高去噪性能，有如下解決方法：
(1)增大網絡的感受野能捕獲更多上下文信息來提高去噪性能。其中，增加網絡寬度和深度是增加感受野最常見的方式，然而，他們會導致高的計算代價和更多內存消耗。空洞卷積能有效解決這個問題。
(2)CNN和先驗結合能提取出更魯棒的特征。
(3)組合局部和全局的信息能提高網絡的記憶能力。(4)把信號處理機制融合到CNN能更好遏制噪聲。(5)數據增加能提高圖像去噪性能。(6)遷移學習、圖學習和網絡搜索能很好處理噪聲圖像。
提高去噪效率
壓縮網絡能有效地提高去噪的速度。減少網絡寬度和深度、利用小的卷積核、組卷積都能有效地提高去噪速度。
解決復雜的噪聲圖像
利用分布機制是非常流行的。第一步利用CNN來估計噪聲級別作為ground truth或者恢復高分辨率圖像。第二步用來恢復潛在干凈圖像。
挑戰
(1)更深的網絡需要占用更多內存。
(2)更深的去噪網絡不能穩定地訓練真實噪聲圖像、沒有類標的噪聲圖像的模型。
(3)真實噪聲圖像不是容易獲得的。
(4)更深的網絡是困難來解決無監督去噪任務。
(5)尋找更精確的去噪衡量指標。
本文參考內容：https://mp.weixin.qq.com/s/nmKWJPbedGo1J8-oeIKm2w