圖像超分辨率重建技術就是利用一組低質量、低分辨率圖像(或運動序列)來產生單幅高質量、高分辨率圖像。圖像超分辨率重建應用領域及其寬廣，在軍事，醫學，公共安全，計算機視覺等方面都存在着重要的應用前景。在計算機視覺領域，圖像超分辨率重建技術有可能使圖像實現從檢出水平(detection level)向識別水平(recognition level)的轉化，或更進一步實現向細辨水平(identification level)的轉化。圖像超分辨率重建技術可以提高圖像的識別能力和識別精度。圖像超分辨率重建技術可以實現目標物的專注分析，從而可以獲取感興趣區域更高空間分辨率的圖像，而不必直接采用數據量巨大的高空間分辨率圖像的配置。
目前超分辨率技術主要有以下兩大類：基於重建的方法、基於學習的方法。
1、基於重建的超分辨率技術：
基於重建的超分辨率方法的基礎是均衡及非均衡采樣定理。它假設低分辨率的輸入采樣信號(圖像) 能很好地預估出原始的高分辨率信號(圖像)。絕大多數超分辨率算法都屬於這一類，其中主要包括頻域法和空域法。
頻率域方法是圖像超分辨率重建中一類重要方法，其中最主要的是消混疊重建方法。消混疊重建方法是通過解混疊而改善圖像的空間分辨率實現超分辨率復原，最早的研究工作是由 Tsai 和 Huang在 1984 年進行的。在原始場景信號帶寬有限的假設下，利用離散傅立葉變換和連續傅立葉變換之間的平移、混疊性質，給出了一個由一系列欠采樣觀察圖像數據復原高分辨率圖像的公式。多幅觀察圖像經混頻而得到的離散傅立葉變換系數與未知場景的連續傅立葉變換系數以方程組的形式聯系起來，方程組的解就是原始圖像的頻率域系數，再對頻率域系數進行傅立葉逆變換就可以實現原始圖像的准確復原。
在空域類方法中，其線性空域觀測模型涉及全局和局部運動、光學模糊、幀內運動模糊、空間可變點擴散函數、非理想采樣等內容。空域方法具有很強的包含空域先驗約束的能力，主要包括非均勻空間樣本內插、迭代反投影方法、凸集投影法、最大后驗概率以及混合 MAP/ POCS 方法、最優和自適應濾波方法、確定性重建方法等。
2、基於學習的超分辨率技術
基於學習的方法是近年來超分辨率算法研究中的熱點，它采用大量的高分辨率圖像構造學習庫產生學習模型，在對低分辨率圖像進行恢復的過程中引入由學習模型獲得的先驗知識，以得到圖像的高頻細節，獲得較好的圖像恢復效果。
具體步驟為：
（1）將高分辨率圖像按照降質模型進行降質，產生訓練集。
（2）根據高分辨率圖像的低頻部分和高頻部分對應關系對圖像分塊，通過一定
算法進行學習，獲得先驗知識，建立學習模型。
（3）以輸入的低分辨率塊為依據，在建立好的訓練集中搜索最匹配的高頻塊。
基於學習的超分辨率方法中關鍵是建立學習模型，獲得先驗知識。常用的學習模型有馬爾科夫隨機場模型、圖像金字塔模型、神經網絡模型、主成分分析模型等。基於學習的方法充分利用了圖像本身的先驗知識，在不增加輸入圖像樣本數量的情況下仍能產生高頻細節，獲得比基於重建方法更好的復原結果，並能較好的應用於人臉和文字等圖像的復原。
目前，圖像超分辨率重建的研究比較成熟，但距離實用還有較大差距。未來研究方向主要集中在以下幾個方面：
1）發展和尋求新的退化模型，使成像模型更加精確和全面，實現對點擴散函數和噪聲的精確估計。圖像超分辨率增強的成功依賴於准確的、符合實際成像系統特性和成像條件的降模型，而要獲得符合實際成像過程的降質模型是十分困難的，通常采用簡單、確定的降質模型進行近似，這樣的近似模型與實際成像過程差距較大。
2）壓縮域的超分辨率重建。傳統的超分辨率算法都是針對圖像序列，而實際中最常見的圖像序列是視頻文件。因而下一步的工作可以針對不同的視頻壓縮格式和編解碼技術，在超分辨率算法中綜合考慮成像模型和壓縮算法帶來的圖像降質效果，以及運動補償和編碼傳輸機制，實現壓縮域的超分辨率重建。
3）效率和魯棒性問題。目前的超分辨率算法具有很高的計算復雜度，如何減少計算量，提高算法速度，是下一步值得研究問題。同時，在目前很多算法中都做了各種假設，如照度變等，這在實際應用中是很難滿足的，因此需要研究穩健的算法滿足實際應用的需要。
4）模糊圖像和三維圖像的超分辨率研究。模糊一直是圖像處理中的一個難點，如何對模糊圖像進行超分辨率需要進一步研究。目前針對三維圖像的超分辨率研究還很少，如何對三維圖像進行建模也是一個值得研究的課題。
5）超分辨率客觀評價標准研究。目前對於圖像超分辨率結果主要依靠人的主觀評價，缺少一種客觀的評價標准，現有的 PSNR、MSE 等並不能很好的反映超分辨率效果，需要發展一種客觀的評價機制。
轉載原文：圖像超分辨率重建簡介