有論文題目、代碼和摘要，參考https://blog.csdn.net/moxibingdao/article/details/107054319，機翻，介意勿看。
圖像與視頻增強（Image&Video Enhancement）
零參考深度曲線估計用於低照度圖像增強
[1].Zero-Reference Deep Curve Estimation for Low-Light Image Enhancement
作者 | Chunle Guo, Chongyi Li, Jichang Guo, Chen Change Loy, Junhui Hou, Sam Kwong, Runmin Cong
單位 | 天津大學；香港城市大學；南洋理工大學；北京交通大學
代碼 | https://li-chongyi.github.io/Proj_Zero-DCE.html/
摘要 |
提出了一個新穎的方法,零基准深度曲線估計(Zero-DCE),制定光增強為特定於映像的曲線估算深度網絡的任務。我們的方法訓練一個輕量級深度網絡DCE-Net來估計像素和高階曲線，以便對給定圖像進行動態范圍調整。考慮到像素值的范圍、單調性和可微性，特別設計了曲線估計。零的吸引力在於它對參考圖像的輕松假設，即:訓練時不需要任何配對或未配對的數據。這是通過一組精心制定的非參考損失函數來實現的，它隱式地測量增強質量並驅動網絡的學習。我們的方法是有效的，因為圖像增強可以實現直觀和簡單的非線性曲線映射。盡管它很簡單，但我們證明它能很好地適用於不同的照明條件。在各種基准上的廣泛實驗證明了我們的方法在質量和數量上比先進的方法的優勢。此外，本文還討論了零dce在黑暗環境下對人臉檢測的潛在好處。
通過分解和增強來恢復低照度圖像
[2].Learning to Restore Low-Light Images via Decomposition-and-Enhancement
作者 | Ke Xu, Xin Yang, Baocai Yin, Rynson W.H. Lau
單位 | 大連理工大學；香港城市大學；鵬城實驗室
摘要 |
弱光圖像通常有兩個問題。首先，它們的能見度很低。，小像素值)。其次，由於低信噪比，噪聲變得很重要，干擾了圖像內容。大多數現有的低光圖像增強方法，然而，學習從噪聲可忽略的數據集。他們依靠的是擁有良好的攝影技能的用戶在低噪音的情況下拍攝圖像。不幸的是，這不是大多數低光圖像的情況。同時增強微光圖像並去除其噪聲是病態的，我們觀察到噪聲在不同的頻率層表現出不同的對比度，並且在低頻層比在高頻層更容易檢測到噪聲。受此啟發，我們提出了一個基於頻率的分解和增強模型用於微光圖像增強。在此基礎上，我們提出了一種新的網絡，該網絡首先在低頻層學習恢復圖像中的目標，然后基於恢復的圖像目標增強高頻細節。此外，我們還准備了一個新的具有真實噪聲的弱光圖像數據集，便於學習。最后，我們進行了大量的實驗，證明了所提出的方法在增強實際的有噪聲的微光圖像方面優於現有的方法。
時空感知的多分辨率視頻增強技術
[3].Space-Time-Aware Multi-Resolution Video Enhancement
作者 | Muhammad Haris, Greg Shakhnarovich, Norimichi Ukita
單位 | 日本豐田工業大學；豐田工業大學芝加哥分校
代碼 | https://github.com/alterzero/STARnet
摘要 |
考慮了時空超分辨率(ST-SR)問題:增加視頻幀的空間分辨率，同時對幀進行插值以提高幀速率。現代方法一次處理一個軸。相比之下，我們所提出的“星網”模型在空間和時間上可以共同解決問題。這使我們能夠利用時間和空間之間的相互信息關系:更高的分辨率可以提供更多關於運動的詳細信息，更高的幀率可以提供更好的像素對齊。在ST-SR期間，我們模型中產生潛在的低分辨率和高分辨率表示的組件，可以用來為僅僅是空間或僅僅是時間的超分辨率調整專門的機制。實驗結果表明，STARnet通過在公開數據集上提供大量的邊際，提高了時空、空間和時間視頻超分辨率的性能。
低光照圖像增強的半半監督方法
[4].From Fidelity to Perceptual Quality: A Semi-Supervised Approach for Low-Light Image Enhancement
作者 | Wenhan Yang, Shiqi Wang, Yuming Fang, Yue Wang, Jiaying Liu
單位 | 香港城市大學；江西財經大學；ByteDance Technology Co., Ltd.；北大
摘要 |
曝光不足會導致一系列的視覺退化，如能見度降低、噪聲強烈和色彩偏置等。為了解決這些問題，我們提出了一種新的半監督學習方法用於微光圖像增強。深度遞歸帶網絡(DRBN)的恢復提出了一個線性樂隊表示增強普通光照圖像搭配低/普通光照圖像,然后獲得一個改進的一個給定的樂隊重組通過另一個可學的線性變換基於知覺面向質量的對抗性的學習與未配對數據。該體系結構強大而靈活，具有使用成對和非成對數據進行培訓的優點。一方面，所提出的網絡設計得很好，可以提取一系列由粗到細的帶表示，它們的估計在遞歸過程中是互惠的。另一方面，DRBN(遞歸帶學習)第一階段提取的增強圖像的帶表示，彌補了成對數據的恢復知識和對真實高質量圖像的感知質量偏好之間的差距。其第二階段(波段重組)通過對抗性學習，學習重新組合波段表示，以擬合高質量圖像的感知屬性。在這兩階段設計的幫助下，我們的方法產生了增強的結果與重建良好的細節和視覺上有前途的對比和顏色分布。定性和定量評價顯示了我國DRBN的優越性。
深度局部參數濾波器實現可解釋的圖像增強
[5].DeepLPF: Deep Local Parametric Filters for Image Enhancement
作者 | Sean Moran, Pierre Marza, Steven McDonagh, Sarah Parisot, Gregory Slabaugh
單位 | 華為諾亞方舟實驗室；里昂國立應用科學學院；Mila Montreal
摘要 |
數碼藝術家經常通過手工修飾來提高數碼照片的審美質量。除了全球調整，專業的圖像編輯程序提供本地調整工具操作的特定部分的圖像。選項包括參數化(漸變，徑向過濾器)和無約束畫筆工具。這些表達能力很強的工具支持多種本地映像增強功能。然而，它們的使用可能會耗費時間，並且需要藝術能力。最先進的自動圖像增強方法通常集中在學習像素級。或全球增強。前者可能噪聲很大，缺乏可解釋性，而后者可能無法捕捉到精細的調整。在本文中，我們介紹了一種新的方法來自動增強圖像使用學習的三種不同類型的空間局部濾波器(橢圓濾波器，漸變濾波器，多項式濾波器)。我們引入了深度神經網絡，稱為深度局部參數濾波器(DeepLPF)，它回歸這些空間局部濾波器的參數，然后自動應用這些濾波器增強圖像。DeepLPF提供了一種自然形式的模型正則化，並支持可解釋的、直觀的調整，從而產生視覺上令人滿意的結果。我們報告了多個基准測試，並表明DeepLPF在MIT-Adobe 5k數據集的兩個變體上產生了最先進的性能，通常使用的參數只是競爭方法所需的一小部分。
利用毫米波雷達進行穿霧式高分辨率成像
[6].Through Fog High-Resolution Imaging Using Millimeter Wave Radar
作者 | Junfeng Guan, Sohrab Madani, Suraj Jog, Saurabh Gupta, Haitham Hassanieh
單位 | 伊利諾伊大學厄巴納-香檳分校
摘要 |
本文演示了使用毫米波(mmWave)雷達的高分辨率成像，即使在濃霧中也能發揮作用。我們利用了毫米波信號在低能見度條件下具有良好傳播特性的事實，不像光學傳感器如相機和激光雷達不能穿透濃霧。然而，毫米波雷達的分辨率很低，具有很強的觀察力和噪聲偽影。我們介紹了HawkEye，一個利用cGAN架構從原始的低分辨率mm波熱圖恢復高頻形狀的系統。我們提出了一種新穎的設計，解決了所涉及的雷達信號的結構和性質的特定挑戰。我們還開發了一個數據合成器，以幫助大規模數據集生成訓練。我們在一個定制的毫米波雷達平台上實施我們的系統，並演示在標准毫米波雷達和其他競爭基准上的性能改進。
深度多模態傳感器融合在不可預見的惡劣天氣中的應用
[7].Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather
作者 | Mario Bijelic, Tobias Gruber, Fahim Mannan, Florian Kraus, Werner Ritter, Klaus Dietmayer, Felix Heide
單位 | 奔馳；Algolux；烏爾姆大學；普林斯頓大學
代碼 | https://github.com/princeton-computational-imaging/SeeingThroughFog
摘要 |
相機、激光雷達和雷達測量等多模態傳感器流的融合在自動駕駛車輛的目標檢測中起着至關重要的作用，自動駕駛車輛基於這些輸入進行決策。雖然現有的方法在良好的環境條件下利用冗余信息，但在不利的天氣條件下卻失敗了，因為在不利天氣條件下，感覺流可能會不對稱地扭曲。這些罕見的“邊緣情況”場景沒有出現在可用的數據集中，現有的融合架構也沒有設計來處理它們。為了應對這一挑戰，我們提供了一個在北歐超過10000公里的駕駛過程中獲得的新型多模態數據集。盡管該數據集是在惡劣天氣下的第一個大型多模態數據集，為激光雷達、攝像機、雷達和門控近紅外傳感器提供了100k標簽，但由於極端天氣很少見，它不能幫助訓練。為此，我們提出了一種深度融合網絡，用於魯棒融合，而不需要包含所有非對稱失真的標記訓練數據的大型語料庫。與之前的融合不同，我們提出了一種基於測量熵的自適應融合特征的單鏡頭模型。我們驗證了提出的方法，在清潔數據上訓練，在我們廣泛的驗證數據集上。代碼和數據可以在這里獲得:https://github.com/princeton-computational-imaging/SeeingThroughFog。
圖像恢復（Image Restoration ）
改進數據合成方法用於真實圖像恢復
[8].CycleISP: Real Image Restoration via Improved Data Synthesis
作者 | Syed Waqas Zamir, Aditya Arora, Salman Khan, Munawar Hayat, Fahad Shahbaz Khan, Ming-Hsuan Yang, Ling Shao
單位 | IIAI；加州大學美熹德分校；谷歌
代碼 | https://github.com/swz30/CycleISP
備注 | CVPR 2020 Oral
摘要 |
大規模數據集的可用性幫助釋放了深度卷積神經網絡(CNNs)的真正潛力。然而，對於單圖像去噪問題，捕獲真實數據集是一個昂貴而繁瑣的過程。因此，圖像去噪算法大多是在廣泛假設加性高斯白噪聲(AWGN)下生成的合成數據上發展和評估的。盡管cnn在這些合成數據集上取得了令人印象深刻的結果，但正如最近的基准數據集報道的那樣，它們在實際相機圖像上的表現並不好。這主要是因為AWGN不足以對真實的攝像機噪聲進行建模，而真實的攝像機噪聲依賴於信號，並且被攝像機成像管道嚴重轉化。在本文中，我們提出了一個模型的相機成像管道在正向和反向的框架。它允許我們產生任何數量的真實圖像對去噪在RAW和sRGB空間。通過在真實的合成數據上訓練一個新的圖像去噪網絡，我們在真實的相機基准數據集上獲得了最先進的性能。我們模型中的參數比之前最好的原始去噪方法小5倍。此外，我們還證明了所提出的框架不僅適用於圖像去噪問題，也適用於立體電影中的顏色匹配問題。源代碼和預先訓練的模型可以在https://github.com/swz30/CycleISP上獲得。
人臉圖像修復
[9].Enhanced Blind Face Restoration With Multi-Exemplar Images and Adaptive Spatial Feature Fusion
作者 | Xiaoming Li, Wenyu Li, Dongwei Ren, Hongzhi Zhang, Meng Wang, Wangmeng Zuo
單位 | 哈爾濱工業大學；天津大學；合肥工業大學
代碼 | https://github.com/csxmli2016/ASFFNet
摘要 |
在許多真實的人臉修復應用中，如智能手機相冊和老電影中，同一個人的多個高質量(HQ)圖像通常可用於給定的低質量(LQ)觀察。然而，現有的引導人臉復原方法大多基於單一HQ樣例圖像，在對未知退化過程的泛化能力的挖掘上存在局限性。針對這些問題，本文提出了利用多樣本圖像和自適應融合制導圖像和退化圖像特征來提高盲人臉恢復性能的方法。首先，在退化觀測的情況下，根據地標集合上的加權仿射距離選擇最優制導，學習其中的地標權重，使制導圖像得到優化，以適應圖像重構。其次，利用移動最小二乘和自適應實例歸一化對特征空間中的制導圖像進行空間對齊和光照變換。最后，為了更好地融合特征，引入多個自適應空間特征融合(ASFF)層，以自適應和漸進的方式融合引導特征，形成了我們的ASFFNet。實驗表明，我們的ASFFNet在定量和定性評價方面表現良好，並能有效地在真實LQ圖像上生成逼真的結果。源代碼和模型可在https://github.com/csxmli2016/ASFFNet獲得
圖像重建、恢復和超分辨率
[10].EventSR: From Asynchronous Events to Image Reconstruction, Restoration, and Super-Resolution via End-to-End Adversarial Learning
作者 | Lin Wang, Tae-Kyun Kim, Kuk-Jin Yoon
單位 | 韓國科學技術院；倫敦帝國學院
數據集 | https://github.com/wl082013/ESIM_dataset
摘要 |
事件相機可以感知強度的變化，與傳統相機相比有很多優勢。為了充分利用事件攝像機的優勢，提出了從事件流中重建強度圖像的方法。然而，輸出仍然是低分辨率(LR)，噪聲和不現實的。低質量的輸出使得事件相機的應用更加廣泛，因為它不僅需要高的空間分辨率，還需要高的時間分辨率、動態范圍和無運動模糊。考慮了在沒有地面真值(GT) HR圖像和低采樣核的情況下，從純事件中重建和超分辨強度圖像的問題。為了解決這個問題，我們提出了一種叫做EventSR的全新端到端的管道，它可以從事件流中重新構建LR圖像，提高圖像質量並對增強后的圖像進行采樣。由於缺乏真實的GT圖像，我們的方法主要是無監督的，部署對抗性學習。為了訓練EventSR，我們創建了一個包括真實場景和模擬場景的開放數據集。兩種數據集的使用提高了網絡性能，各階段的網絡架構和各種損失函數有助於提高圖像質量。整個管道的培訓分三個階段進行。雖然每一階段主要是三個任務中的一個，但較早階段的網絡是由各自的損耗函數以端到端方式進行微調的。實驗結果表明，EventSR可以從模擬和真實數據的事件中生成高質量的SR圖像。
立體圖像恢復中的視差感知域適應性
[11].Disparity-Aware Domain Adaptation in Stereo Image Restoration
作者 | Bo Yan, Chenxi Ma, Bahetiyaer Bare, Weimin Tan, Steven C. H. Hoi
單位 | 復旦大學；新加坡管理大學
摘要 |
在立體環境下，視差估計、立體放大和立體合成等問題已引起廣泛關注。但圖像質量的限制給相關應用的開發帶來了不可忽視的困難，成為立體圖像的主要瓶頸。就我們所知，立體圖像恢復很少被研究。為此，本文分析了如何有效地挖掘視差信息，提出了一種統一的立體圖像恢復框架。該框架明確地學習了立體視圖之間的內在像素對應關系，並在圖像和特征層面利用交叉視圖信息恢復立體圖像。引入特征調制密集塊(FMDB)在整個網絡中插入視差先驗。實驗結果表明，該框架在效率、目標和感知質量以及深度估計精度等方面都具有較好的效果。
無監督圖像恢復
[12].Learning Invariant Representation for Unsupervised Image Restoration
作者 | Wenchao Du, Hu Chen, Hongyu Yang
單位 | 四川大學
代碼 | https://github.com/Wenchao-Du/LIR-for-Unsupervised-IR
摘要 |
近年來，跨域傳輸應用於無監督圖像恢復任務。但是，由於缺乏有效的監督，直接應用現有框架會導致翻譯后的圖像出現域轉移問題。相反，我們提出了一種無監督學習方法，它可以明確地從有噪聲的數據中學習不變量表示，並重建清晰的觀察結果。為此，我們在一般的域轉換框架中引入離散解糾纏表示和對敵域適應，並借助額外的自監督模塊，包括背景和語義一致性約束，學習雙重域約束下的魯棒表示，如特征域和圖像域。在合成和真實的噪聲去除任務上的實驗表明，該方法具有與其他先進的監督和非監督方法相當的性能，同時比其他領域自適應方法具有更快和穩定的收斂速度。
圖像與視頻去噪（Image&Video Denoising）
實時視頻去噪
[13].FastDVDnet: Towards Real-Time Deep Video Denoising Without Flow Estimation
作者 | Matias Tassano, Julie Delon, Thomas Veit
單位 | GoPro France；Universite de Paris & IUF；
代碼 | https://github.com/m-tassano/fastdvdnet
摘要 |
在本文中，我們提出了一種最先進的基於卷積神經網絡架構的視頻去噪算法。直到最近，神經網絡的視頻去噪仍是一個有待探索的領域，現有的方法在性能上無法與最佳的基於塊的方法競爭。我們在本文中介紹的方法，稱為FastDVDnet，顯示了類似或更好的性能，與其他的競爭對手與顯著降低計算時間。與其他現有的神經網絡去噪器相比，我們的算法展示了一些令人滿意的特性，如快速運行時間，以及用單一網絡模型處理大范圍噪聲水平的能力。其體系結構的特點使其在獲得優異性能的同時避免使用昂貴的運動補償階段成為可能。該算法的去噪性能與較低的計算量相結合，使其在實際去噪應用中具有很大的吸引力。我們將我們的方法與不同的先進算法進行比較，包括視覺上的和關於客觀質量度量的
event相機的去噪
[14].Event Probability Mask (EPM) and Event Denoising Convolutional Neural Network (EDnCNN) for Neuromorphic Cameras
作者 | R. Wes Baldwin, Mohammed Almatrafi, Vijayan Asari, Keigo Hirakawa
單位 | 戴頓大學；Umm Al-Qura University
代碼 | https://github.com/bald6354/EPM（尚未）
更多介紹 | https://www.zhihu.com/question/47111443
摘要 |
本文提出了一種新的方法，通過計算在短時間內每個像素產生一個事件的可能性來標記真實的神經形態相機傳感器數據，我們稱之為“事件概率掩碼”或EPM。它的應用包括:(i)事件去噪性能的目標基准測試，(ii)訓練卷積神經網絡去噪稱為“事件去噪卷積神經網絡”(EDnCNN)，以及(ii)估計相機內部神經形態參數。我們提供了第一個數據集(DVSNOISE20)的真實世界標記神經形態相機事件去噪。
從單幅圖像中學習自監督去噪的方法
[15].Self2Self With Dropout: Learning Self-Supervised Denoising From Single Image
作者 | Yuhui Quan, Mingqin Chen, Tongyao Pang, Hui Ji
單位 | 華南理工大學；新加坡國立大學
摘要 |
在過去的幾年里，監督深度學習已經成為圖像去噪的一個強大工具，它在外部有噪聲/干凈圖像對數據集上訓練去噪網絡。然而，對高質量訓練數據集的要求限制了去噪網絡的廣泛適用性。最近，有一些工作允許訓練一個去噪網絡的集合的外部噪聲圖像。進一步提出了一種僅使用輸入噪聲圖像本身進行訓練的自監督學習方法。在該方法中，網絡在輸入圖像的一對伯努利采樣實例上進行帶有dropout的訓練，並通過對訓練模型的多個實例的帶有dropout的預測進行平均來估計結果。實驗表明，該方法不僅顯著優於現有的單圖像學習o1非學習方法，而且與在外部數據集上訓練的去噪網絡相比具有競爭力
自引導的聯合去馬賽克和去噪
[16].Joint Demosaicing and Denoising With Self Guidance
作者 | Lin Liu, Xu Jia, Jianzhuang Liu, Qi Tian
單位 | 華為諾亞方舟實驗室；中國科學技術大學
摘要 |
去噪和去噪通常處於計算攝影的早期階段，在現代相機圖像處理中起着重要的作用。近年來，一些神經網絡在關節去噪和去噪方面表現出了良好的效果。他們中的大多數人首先將拜耳的原始圖像分解成四通道RGGB圖像，然后將其輸入神經網絡。這種做法忽略了這樣一個事實，即綠色通道的采樣率是紅色和藍色通道的兩倍。在本文中，我們提出了一種自導引網絡(SGNet)，它首先估計綠色通道，然后作為一種導引來恢復輸入圖像中所有缺失的值。另外，在圖像恢復中，由於不同頻率區域的退化程度不同。我們提出了一個密度圖指導，以幫助模型處理寬范圍的頻率。我們的模型在四個公共數據集(包括兩個真實數據集和兩個合成數據集)上的性能優於最先進的關節去噪和去噪方法。最后，我們還驗證了我們的方法在關節去噪、去噪和超分辨率方面取得了最好的效果。
視頻去噪
[17].Supervised Raw Video Denoising With a Benchmark Dataset on Dynamic Scenes
作者 | Huanjing Yue, Cong Cao, Lei Liao, Ronghe Chu, Jingyu Yang
單位 | 天津大學
代碼 | https://github.com/cao-cong/RViDeNet
摘要 |
近年來，針對真實噪聲圖像去噪的監督學習策略已經出現，並取得了良好的效果。相比之下，由於缺少對動態場景的無噪聲處理，對原始有噪聲視頻的真實去除研究很少。對於動態場景來說，干凈的視頻幀不能像靜態圖像那樣，用長曝光快門或平均多鏡頭來捕捉。在本文中，我們通過創建可控制對象(如玩具)的運動，並多次捕捉每個靜態時刻來生成清晰的視頻幀來解決這個問題。通過這種方法，我們構建了一個包含55組無噪聲視頻的數據集，這些視頻的ISO值從600到25600不等。據我們所知，這是第一個具有無噪聲對的動態視頻數據集。相應的，我們提出了一個原始視頻去噪網絡(RViDeNet)，通過探索視頻幀的時間、空間和信道相關性。由於原始視頻具有拜耳模式，我們將其打包成四個子序列i。將RGBG序列分別用RViDeNet去噪，最后融合成一個干凈的視頻。另外，我們的網絡不僅輸出原始的去噪結果，而且通過圖像信號處理(ISP)模塊輸出sRGB結果，使用戶可以用他們喜歡的ISP生成sRGB結果。實驗結果表明，我們的方法在室內和室外視頻去噪優於最先進的視頻和原始圖像去噪算法.
用於極端低照度的Raw圖像去噪
[18].A Physics-Based Noise Formation Model for Extreme Low-Light Raw Denoising
作者 | Kaixuan Wei, Ying Fu, Jiaolong Yang, Hua Huang
單位 | 北京理工大學；微軟
代碼 | https://github.com/Vandermode/ELD
備注 | CVPR 2020 Oral
摘要 |
由於缺乏豐富且真實的數據，學習后的單幅圖像去噪算法在真實的原始圖像上泛化效果不佳，與用於訓練的數據不太相似。雖然異方差高斯噪聲模型可以緩解這一問題，但數碼相機電子產品產生的噪聲源，尤其是在極低光條件下，對原始測量的影響很大程度上仍被忽略。為了解決這個問題，我們提出了一個基於CMOS光傳感器特性的高精度噪聲形成模型，從而使我們能夠合成更符合圖像形成過程物理特性的真實樣本。在提出的噪聲模型的基礎上，我們還提出了一種可用於現代數碼相機的噪聲參數的標定方法，該方法簡單且可用於任何新設備。通過引入一個新的低光去噪數據集，我們系統地研究了用現有方案訓練的神經網絡的通用性，該數據集涵蓋了許多不同品牌的現代數碼相機。廣泛的經驗結果集體表明，利用我們提出的噪聲形成模型，網絡可以達到的能力，就像它已經訓練了豐富的真實數據。驗證了噪聲形成模型的有效性。
使用遷移學習的方法將仿真噪聲數據集訓練的去噪模型遷移到真實噪聲數據集的去噪模型上，提升去噪模型的泛化能力
[19].Transfer Learning From Synthetic to Real-Noise Denoising With Adaptive Instance Normalization
作者 | Yoonsik Kim, Jae Woong Soh, Gu Yong Park, Nam Ik Ch
單位 | 首爾大學
代碼 | https://github.com/terryoo/AINDNet
摘要 |
由於真實噪聲的統計量不服從正態分布，而且在時間和空間上都是變化的，因此去噪是一項具有挑戰性的任務。為了應對各種復雜的實噪聲，我們提出了一個很好的廣義去噪結構和一個轉移學習方案。具體來說，我們采用一種自適應實例歸一化的方法來構建去噪算法，它可以使特征映射規范化，防止網絡對訓練集過擬合。我們還引入了一種轉移學習方案，將從合成噪聲數據中學習到的知識轉移到實噪聲去噪算法中。通過所提出的遷移學習，合成噪聲去噪可以從各種合成噪聲數據中學習一般特征，實噪聲去噪可以從真實數據中學習實噪聲特征。實驗結果表明，本文提出的去噪方法具有較強的泛化能力，使我們的網絡在達姆施塔特噪聲數據集(DND)上的性能在已發表論文的方法中是最好的。我們還可以看到，所提出的傳輸學習方案，通過學習非常少的標記數據的真實噪聲圖像。
內存高效的NAS + 圖像去噪
[20].Memory-Efficient Hierarchical Neural Architecture Search for Image Denoising
作者 | Haokui Zhang, Ying Li, Hao Chen, Chunhua Shen
單位 | 西北工業大學；阿德萊德大學
摘要 |
近年來，神經架構搜索(NAS)方法受到了廣泛的關注，在一些高級視覺任務上的表現優於人工設計的架構。在本文中，我們提出了HiNAS(層次化NAS)，這是一種利用NAS自動設計有效神經網絡結構用於圖像去噪的努力。HINAS采用基於梯度的搜索策略，采用接受域自適應的操作，構建靈活的層次搜索空間。在搜索階段，HiNAS跨不同的特性級別共享單元以節省內存，並采用早期停止策略以避免NAS中的崩潰問題，並大大加快了搜索速度。提出的HiNAS在內存和計算方面都很高效，使用單一GPU只需要大約4.5小時的搜索時間。我們在兩個不同的數據集上評估了我們提出的HiNAS的有效性。即加性高斯白噪聲數據集BSD500，和現實噪聲數據集etsim1800。實驗結果表明，HiNAS發現的體系結構具有更少的參數和更快的推理速度，同時與現有的方法相比實現了極具競爭力的性能。我們還對NAS發現的結構進行了分析。HiNAS在圖像降水實驗中也表現出了良好的性能。
[21].Basis Prediction Networks for Effective Burst Denoising With Large Kernels
作者 | Zhihao Xia, Federico Perazzi, Michael Gharbi, Kalyan Sunkavalli, Ayan Chakrabarti
單位 | 華盛頓大學（聖路易斯）；Adobe Research
主頁 | https://www.cse.wustl.edu/~zhihao.xia/bpn/
代碼 | 即將
摘要 |
圖像的爆發在時間和空間上都表現出顯著的自相似性。這使得內核的表示成為一組小的基元素的線性組合。為此，我們引入了一種新的基預測網絡，給定一個輸入脈沖，它可以預測一組全局基核——在圖像中共享——以及相應的混合系數——這是特定於單個像素的。與目前每像素輸出大量時空核張量的技術相比，我們的公式大大降低了網絡輸出的維數。這允許我們有效地利用相對較大的去噪內核，實現了顯著的質量改進(超過1dB的PSNR)和在最先進的方法上更快的運行時間。
圖像去摩爾紋（Image Demoireing
摩爾紋是相機拍攝電子屏幕時出現的條紋，該文提出一種可學習的帶通濾波器實現去摩爾紋，Keras+TensorFlow實現
[22].Image Demoireing with Learnable Bandpass Filters
作者 | Bolun Zheng, Shanxin Yuan, Gregory Slabaugh, Ales Leonardis
單位 | 杭州電子科技大學；華為諾亞方舟實驗室
代碼 | https://github.com/zhenngbolun/Learnbale_Bandpass_Filter
摘要 |
圖像演示是一項涉及紋理和顏色恢復的多面圖像恢復任務。在本文中，我們提出了一種新的多尺度帶通卷積神經網絡(MBCNN)來解決這個問題。MBCNN作為一個端到端的解決方案，分別解決了兩個子問題。對於紋理恢復，我們提出了一個學習帶通濾波器(LBF)來學習莫爾紋理去除的頻率先驗。對於顏色恢復，我們提出了兩步色調映射策略，首先應用全局色調映射來校正全局色移，然后對每個像素的顏色進行局部微調。通過消融研究，我們證明了MBCNN不同組成部分的有效性。在兩個公共數據集上的實驗結果表明，我們的方法大大優於最新的方法(在PSNR方面超過2dB)。