【超分辨率】—圖像超分辨率(Super-Resolution)技術研究

本文轉載自查看原文 2019-05-14 09:56 6416 計算機視覺

一、相關概念

1.分辨率

圖像分辨率指圖像中存儲的信息量，是每英寸圖像內有多少個像素點，分辨率的單位為PPI(Pixels Per Inch)，通常叫做像素每英寸。一般情況下，圖像分辨率越高，圖像中包含的細節就越多，信息量也越大。圖像分辨率分為空間分辨率和時間分辨率。通常，分辨率被表示成每一個方向上的像素數量，例如64*64的二維圖像。但分辨率的高低其實並不等同於像素數量的多少，例如一個通過插值放大了5倍的圖像並不表示它包含的細節增加了多少。圖像超分辨率重建關注的是恢復圖像中丟失的細節，即高頻信息。在大量的電子圖像應用領域，人們經常期望得到高分辨率（簡稱HR）圖像。但由於設備、傳感器等原因，我們得到的圖像往往是低分辨率圖像（LR）。增加空間分辨率最直接的解決方法就是通過傳感器制造技術減少像素尺寸（例如增加每單元面積的像素數量）；另外一個增加空間分辨率的方法是增加芯片的尺寸，從而增加圖像的容量。因為很難提高大容量的偶合轉換率，所以這種方法一般不認為是有效的，因此，引出了圖像超分辨率技術。

2.圖像超分辨率

圖像超分辨率（Image Super Resolution）是指由一幅低分辨率圖像或圖像序列恢復出高分辨率圖像。圖像超分辨率技術分為超分辨率復原和超分辨率重建。目前，圖像超分辨率研究可分為 3個主要范疇：基於插值、基於重建和基於學習的方法。

超分辨率(Super-Resolution)即通過硬件或軟件的方法提高原有圖像的分辨率，通過一系列低分辨率的圖像來得到一幅高分辨率的圖像過程就是超分辨率重建。超分辨率重建的核心思想就是用時間帶寬(獲取同一場景的多幀圖像序列)換取空間分辨率,實現時間分辨率向空間分辨率的轉換。

3.與其他圖像處理技術的關系

圖像修復技術 VS 圖像超分辨率技術：圖像修復的目標是恢復一個被模糊或者噪聲破壞的圖像，但是它不改變圖像的尺寸。事實上圖像修復和SR復原在理論是完全相關的，超分辨率技術可以看作是第二代圖像修復技術，主要區別是圖像修復技術在處理后圖像中的像素數並不增加。

圖像插值 VS 圖像超分辨率：圖像插值，即增加單幅圖像的尺寸。一般的插值並不能恢復LR采樣過程中丟失的高頻信息，但是圖像超分辨率可以，因此圖像插值方法不能被認作是SR技術。

圖像銳化 VS 圖像超分辨率：圖像銳化可以提升高頻信息，但僅增強已有的高頻成分；超分辨率技術能估計出原始圖像中沒有表現出來的高分辨率細節。

圖像拼接 VS 圖像超分辨率：圖像拼接雖然將多幅圖像結合成更大的圖像，包含了更多的像素，但沒有提供更多的細節信息，所以不能算是超分辨率技術。

4.超分辨率技術分類

A.按領域分類
（1）基於頻域的方法
主要是傅里葉變換及其逆變換。由於圖像細節是通過高頻信息反映出來的，所以消除低分辨率圖像里的頻譜混疊就可以獲得更多被掩蓋掉的高頻信息，從而增加圖像細節，提高圖像的分辨率。
優點：原理清晰，理論推導方便，計算復雜度較低；
缺點：只適用於空間不變噪聲的情況，只能處理圖像中僅有整體運動而沒有局部運動的情況，難於在處理過程中利用先驗信息。
（2）基於空域的方法
空域的方法常利用圖像局部的信息進行，增加像素的數量和緊密程度，從而增加圖像細節，提高圖像的分辨率。
優點：種類多，可將各種退化因素綜合考慮，靈活性強；
缺點：設計復雜，計算復雜度較高。

B.根據所用低分辨率圖像的數量分類
（1）基於單幅圖像的超分辨率（SISR）
輸出是單幅圖像。包含：圖像放大（圖像尺寸或像素的增加）、超分辨率復原（利用點擴散函數和目標的先驗知識，在圖像系統的衍射極限之外復原圖像信息）。
（2）基於多幅圖像的超分辨率（MISR）
輸出的可以是單幅圖像也可以是一個圖像系列（常為視頻）。其基本前提是通過同一場景可以獲取多幅LR細節圖像，每一幅LR圖像都會為HR圖像的復原提供一些不同的信息，如果能夠合成這些HR圖像，那么SR圖像復原是可以實現的。

C.根據技術本身的特點分類
（1）基於重建的超分辨率
基於重建的超分辨率復原方法是對圖像的獲取過程建立觀測模型，然后通過求解觀測模型的逆問題來實現超分辨率重建。觀測模型描述了成像系統從高分辨率場景（圖像）獲取低分辨率觀測圖像的過程。
從本質上講，利用單幅或多幅LR觀測圖像獲取HR觀測圖像是求解觀測問題的逆問題，它是一個病態反問題。
關鍵步驟：配准、重建。配准是將多幅同一場景的LR圖像在空間上進行亞像素精度對齊, 得到高低分辨率圖像彼此之間的運動偏移量, 構建觀測模型中的空間運動參數。重建是采用不同的先驗約束條件 (平滑性、非負性和能量有限性等) 和最優化求解方法進行HR圖像的求解。
典型方法：非均勻插值法、迭代反投影法、最大后驗概率法（目前實際應用和科學研究中運用最多的一種方法）、凸集投影法。
（2）基於學習的超分辨率
借助預先的訓練學習（從數據庫）來尋找或建立低分辨率圖像與其對應的高分辨率圖像之間的映射關系，提取高頻信息，從而在給定低分辨率圖像的情況下，通過優化方法獲得相應的高分辨率圖像。
淺層學習：特征提取–>學習–>重建
深度學習：特征提取–>非線性映射–>圖像重建