1.壓縮感知引言
壓縮感知（compressed sensing），又名壓縮采樣，利用原始場景自身的或變換到某個域后的稀疏性，采用更少的測量次數，獲取足夠的能重建原始場景的信息。
比如場景生成的圖片有200萬個像素，每個像素用8位比特表示，需要2MB的存儲空間，但去除冗余后的有效像素只有10萬個。那么我們找出這10萬個有效像素，就能夠較好的重建出原始圖像，實現較好的圖像壓縮和重建。接下來有兩個問題：1）如何找出這關鍵的10萬個像素，也即組成整幅圖像的“基”？2）除了這10萬個像素，其余的190萬個像素對圖像的細節也有幫助，只保留這10萬個像素也許會造成圖像失真，如何解決？先來考慮第一個問題吧。
考慮二維情況，假設x0為自然場景，y0是成像結果，把它們repmat到1維列向量，變為N*1的x和M*1的y，其中M<<N。那么x和y的關系可以描述為 y = Φx ，其中Φ 是M*N的測量矩陣。現在的研究熱點有兩個：1.如何通過N*1的y恢復出M*1的x，這是一個欠定問題。2.設計n盡量小的Φ。
2.稀疏信號的恢復
對x進行稀疏表示為x = Ψθ ，其中Ψ稱為基矩陣、稀疏矩陣，大小是N*N， θ是K稀疏的，是信號在某變換域的稀疏表示。所以y = ΦΨθ = Aθ，其中A為觀測矩陣。
在恢復數據時我們通常有兩種辦法，第一種是匹配追蹤（matching pursuit）：找出圖像的一個基向量（小波），去除小波在圖像中的分量，繼續找新的與以前線性無關的向量，並移除相關的圖像向量，不斷重復直到這組基向量能解釋所有的數據。第二種是基追蹤（basis pursuit），在所有與數據（image）匹配的小波組合中，找出一個“最稀疏”的基，也就是其中所有系數的絕對值總和越小越好。（這種最小化的結果趨向於迫使絕大多數系數都消失了。），從而獲取最稀疏的表達，增大壓縮率。這種最小化算法可以用單純形之類的凸優化算法，在合理的時間內算出來。第一種辦法運算塊，第二種辦法在有噪聲時效果更好。
先來了解范數，第0范數表示向量非零元素個數，第p范數的定義為
如果用第0范數解壓縮問題，即
用Δ0(y)表示P0的解，即在所有滿足線性方程組的向量x中，選擇非0元素最少的。
有如下定理：
因為P0是一個NP完全問題，求解十分不平凡，所以考慮更高的范數，將解碼定義為如下問題的解：
y = Φx 等價於 y = Φx 和 Φx = 0的疊加，
可以用零空間性質給出P1和P0的解一致的充要條件，但是難以從理論上證明某矩陣Φ是否滿足零空間性質。所以考慮矩陣RIP性質。
3.RIP定義
RIP的定義為
RIP的理解思路：
1）能量說。RIP采用第二范數的平方（能量），描述了穩定的能量性質。不等式同時除以||x||22，得到能量的商介於一個范圍，也就是保持原場景K個重要分量的長度/能量，如果場景是K稀疏的話。
2）與正交矩陣的相似性。如果Φ是個正交矩陣，那么不等式一定成立，但由於為了減小測量量，Φ是行少於列的矩陣，所以δ是用來描述Φ和正交矩陣的相似性的，δ越小，越相似。
3）唯一映射性。RIP性質（有限等距性質）保證了感知矩陣不會把兩個不同的K稀疏信號映射到同一個集合中（保證原空間到稀疏空間的一一映射關系），要求從感知矩陣中抽取的每2K個列向量構成的矩陣是非奇異的。
4.RIP補充
上面我們討論的都是觀測矩陣A，（我們考慮的是在變換基上的稀疏表示的x，即θ），實際中常使用的是測量矩陣Φ，那怎樣才能讓測量矩陣滿足RIP要求呢？
因為RIP可以刻畫成“一個矩陣和標准正交陣的相似程度”,所以測量矩陣所需要滿足的性質就是盡量保證其基向量和稀疏表示的基不相關。實際中，比如高斯隨機矩陣，二值隨機矩陣，局部傅立葉矩陣，局部哈達媽矩陣等都能以很大的概率滿足RIP，主要是隨即矩陣、結構矩陣與確定性矩陣。
5.最小的觀察次數
如果選擇解碼為 ∆1, 為精確恢復所有 s-稀疏信號, 觀察次數 m最少應為多少?
6.算法
單純形法和內點算法等常規的求解線性規划的方法不太適用於大規模壓縮感知。考慮問題本身的特殊性, 即矩陣 A 是稠密的，然而需要恢復的信號 x0 則是稀疏的. 人們由此構造了一些迭代算法, 如 Bregman 迭代算法，ADM算法，Proximity算法等。Bregman
迭代算法等價於增廣的Lagrangian算法。當矩陣行數遠小於獵術，用貪婪算法效果更好。
5.引用文獻
http://www.cnblogs.com/AndyJee/p/5085827.html
http://blog.csdn.net/abcjennifer/article/details/7721834
Compressed sensing and single-pixel cameras - Terrytao
壓縮感知，許志強，2012年1月12日