如引用請務必注明此文出自：http://www.cnblogs.com/xbinworld
LLE
Locally linear embedding（LLE）[1] 是一種非線性降維算法，它能夠使降維后的數據較好地保持原有流形結構。LLE可以說是流形學習方法最經典的工作之一。很多后續的流形學習、降維方法都與LLE有密切聯系。
見圖1，使用LLE將三維數據（b）映射到二維（c）之后，映射后的數據仍能保持原有的數據流形（紅色的點互相接近，藍色的也互相接近），說明LLE有效地保持了數據原有的流行結構。
但是LLE在有些情況下也並不適用，如果數據分布在整個封閉的球面上，LLE則不能將它映射到二維空間，且不能保持原有的數據流形。那么我們在處理數據中，首先假設數據不是分布在閉合的球面或者橢球面上。
圖1 LLE降維算法使用實例
LLE算法認為每一個數據點都可以由其近鄰點的線性加權組合構造得到。算法的主要步驟分為三步：(1)尋找每個樣本點的k個近鄰點；（2）由每個樣本點的近鄰點計算出該樣本點的局部重建權值矩陣；（3）由該樣本點的局部重建權值矩陣和其近鄰點計算出該樣本點的輸出值。具體的算法流程如圖2所示：
圖 2 LLE算法步驟
Reference
[1] Roweis, S. T., Saul, L. K. Nonlinear dimensionality reduction by locally linear embedding. Science. 2000, 290(5500):2323.