該算法受到了最近的（manifold learning）流行學習算法的啟發，特別是局部線性嵌入（LLE）。我們運用局部重疊來增強重建高分圖像塊之間的兼容性和平滑約束。具體來說，高分和低分圖像塊在兩個不同的特征空間中形成了類似局部幾何的流形。就像LLE中，局部幾何結構特征是通過 一個塊（patch）的特征向量在特征空間如何被鄰域重構 而形成的。除了用訓練的圖像對來估計高分的嵌入（embedding），我們還通過重疊方法在高分圖像上實施了塊之間的局部兼容性和平滑約束。實驗結果顯示效果很好。
流形學習（manifold learning）
假設數據是均勻采樣於一個高維歐氏空間中的低維流形，流形學習就是從高維采樣數據中恢復低維流形結構，即找到高維空間中的低維流形，並求出相應的嵌入映射，以實現維數約簡或者數據可視化。簡單說，它是從觀測到的現象中去尋找事物的本質，找到產生數據的內在規律。流形學習方法是模式識別中的基本方法，分為線性流形學習算法和非線性流形學習算法，線性方法就是傳統的方法如主成分分析（PCA）和線性判別分析（LDA），非線行流形學習算法包括等距映射（Isomap），拉普拉斯特征映射（LE）等。
流形學習是個很廣泛的概念。自從2000年以后，流形學習被認為屬於非線性降維的一個分支。眾所周知，引導這一領域迅速發展的是2000年Science雜志上的兩篇文章: Isomap and LLE (Locally Linear Embedding)。
流形學習的基本概念
所謂流形（manifold）就是一般的幾何對象的總稱。流形就包括各種維數的曲線曲面等。和一般的降維分析一樣，流形學習把一組在高維空間中的數據在低維空間中重新表示。和以往方法不同的是，在流形學習中有一個假設，就是所處理的數據采樣於一個潛在的流形上，或是說對於這組數據存在一個潛在的流形。對於不同的方法，對於流形性質的要求各不相同，這也就產生了在流形假設下的各種不同性質的假設。
局部嵌入式 LLE (Locally linear Embedding)
LLE的思想就是，一個流形在很小的局部鄰域上可以近似看成歐式的，就是局部線性的。那么，在小的局部鄰域上，一個點就可以用它周圍的點在最小二乘意義下最優的線性表示。LLE把這個線性擬合的系數當成這個流形局部幾何性質的刻畫。那么一個好的低維表示，就應該也具有同樣的局部幾何，所以利用同樣的線性表示的表達式，最終寫成一個二次型的形式，十分自然優美。
注意在LLE出現的兩個加和優化的線性表達，第一個是求每一點的線性表示系數的。雖然原始公式中是寫在一起的，但是求解時，是對每一個點分別來求得。第二個表示式，是已知所有點的線性表示系數，來求低維表示（或嵌入embedding）的，他是一個整體求解的過程。
正文：
單張圖像超分重建問題的解決可以被闡述成：我們輸入低分影像，通過對一系列高低分影像對的學習，來生成重建后的高分影像。
每一個高分圖像塊的生成不僅和相對應的低分圖像塊有關，還和相鄰的高分圖像快有關。前者決定准確性，后者決定局部兼容性和平滑性。為了滿足以上設想，我們算法具有三個屬性：
（1） 每一個高分塊都與多個轉化方式（訓練集中學習來的）相對應；
（2） 局部低分塊之間的關系應該在高分集中體現出來；
（3） 高分集中的相鄰塊通過重疊約束來增強局部的兼容性和平滑性。
流形學習
我們的算法基於假設：高分、低分圖像的塊在兩個獨特的特征空間里形成了相同幾何結構的流形。
LLE總結如下：
（1） 對於每一個在D維空間的數據點：
a. 找到在相同空間一些最鄰近的鄰域值；
b. 計算鄰域值的重建權重，使重建誤差最小
（2） 在d維的嵌入空間計算計算低維嵌入值，依靠重建權重表達能夠很好保存局部結構的低維嵌入。
我們的NE算法
（1） 首先，對於低分圖像的每一個塊Xt，計算在Xs中鄰近值的重建權重使得重建誤差最小。
（2） 用保存局部結構的訓練的圖像對來估算高分嵌入值。
（3） 通過鄰近塊的疊加來形成高分影像，保持局部兼容性和平滑。
1. 每一個patch 表示為x(q,t)在圖像Xt中：
a.在Xs中找到K個鄰域值形成集合Nq
b.計算領域值的重建系數，使得重建x（q，t）誤差最小
c.用合適的K個鄰域值相關的高分特征和重建系數，來計算高分嵌入值y（q，t）
2. 對1（c）中得到的相鄰塊進行局部的兼容性和平滑處理得到最終的高分影像。
第一步（a）用歐氏距離來定義鄰域。1(b)中找到Xt中的每一個patch x(q,t)中最好的重建系數。最小化局部重建誤差得到最佳重建系數：
其中 
第一步（c），計算初始y(q,t)，基於：
第二步，取相鄰patch重疊部分的平均值。
特征表達
對於低分圖像，用（亮度的）一階和二階梯度提取特征：
5X5鄰域特征提取
對於高分圖像，每個高分塊減去均值作為特征。當重建時，對應的低分塊亮度均值被加上。
數據集和參數
數據集采用高分影像，低分是高分降采樣。
訓練集很小，每個塊用八個不同的特征向量表示，通過不同的方向（0,90,180,270）可以通過鏡像圖像增加訓練數據量。
我們的方法只有三個參數：K=5，patch大小為3X3，放大N唄高分圖像用3NX3N。
例子展示
(a)高分原圖
(b)對應的降采樣低分圖
(c)是(b)的五個鄰域
(d)是(c)對應的五個高分圖
(e)為重建結果，和(a)相近
證明方法效果很好
改變K值計算RMS，結果顯示，當K=4，5效果最好