壓縮感知：一種新型亞采樣技術

本文轉載自查看原文 2019-12-09 15:13 593 優化算法/ 壓縮感知/ 信號處理/ 稀疏表示

綠蟻新醅酒,紅泥小火爐。晚來天欲雪,能飲一杯無?

[導讀] 壓縮感知（Compressed Sensing, CS）是近些年提出來的一種亞采樣技術，其采樣率遠小於傳統的奈奎斯特采樣定理所需要的采樣數，后者需要以不低於2倍信號的最高頻率對信號進行采樣才能完美重構原信息，而CS技術只需極少量的采樣即可精確重建原始信號。2006年，David.L. Donoho和著名的華人數學天才、菲爾茲獎得主陶哲軒等人對CS理論進行了嚴格證明，搭建了完整的理論框架，自此以后，CS技術在信號處理、圖像處理、通信、自動控制、人工智能等領域得到了廣泛的研究與應用。壓縮感知的研究內容主要可以分為三個部分，即信號的稀疏表示、測量矩陣的構造和重構算法。其中，重構算法作為CS技術的關鍵之一，影響着信號的重構復雜度和重構質量。接下來的幾期，將為大家帶來每種類別中最經典的壓縮感知重構算法，並附上仿真代碼和詳細解說。同時，也歡迎各位親愛的讀者朋友們在后台留言，與作者互動討論。

———————————————————————————————————————————————
更多精彩內容請關注微信公眾號 “優化與算法”

1. 信號的稀疏表示

對於\(N\)維的信號\(f\)，可以表示為一組正交基向量\({\bf{ \Psi }}\)的線性組合：

\[{\bf{f}} = {\bf{\Psi x}}{\rm{~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ (1)}} \]

其中\({\bf{\Psi }} \in {^{N \times N}}\)稱為稀疏基，\({\bf{x}} \in {^{N \times 1}}\)為\(f\)在\(\bf \Psi\) 變換域中的系數向量，如果\(x\)中只有\(s\)(\(s \ll N\))個元素不為零（或遠大於零，而其他元素接近於零），則稱\(x\)是\(s\)-稀疏的。

信號的稀疏表示如圖1所示

圖1 信號的稀疏表示

2. 信號的壓縮采樣（測量矩陣的構造）

用一個\(M \times N(M < N)\)的測量矩陣\({\bf{\Phi }}\)對原信號\(f\)進行壓縮采樣，得到一個觀測向量 \({\bf{y}} \in {^{M \times 1}}\)，實現原信號的降維，此過程可以表示為：

\[{\bf{y}} = {\bf{\Phi \Psi x}} = {\bf{Ax}}{\rm{~~~~~~~~~~~~~~~~~~(2)}} \]

其中\({\bf{A}} \in {^{M \times N}}\)稱為觀測向量。對具體問題而言，\({\bf{\Phi }}\)和\({\bf{\Psi }}\)為已知，因此\({\bf{A}}\) 也已知，從而可以通過觀測向量\({\bf{y}}\)求得系數向量\({\bf{x}}\)，然后再重構出原信號。常用的測量矩陣有隨機高斯矩陣，隨機伯努利矩陣，及其他隨機矩陣。

信號的壓縮采樣過程可以描述為圖2：
圖2 信號的壓縮采樣

3. 重構算法

由於\(M < N\)，（2）式是一個欠定方程，因此直接求解此方程是一個NP-hard問題。文獻[6]證明了當系數向量是\(s\)-稀疏且滿足\(s\)階有限等距性質（Restricted isometry property, RIP）時，能以很高的概率精確求得 \({\bf{x}}\)，然后通過式（1）求得原信號。求解過程等價於求解如下優化問題：

\[\arg {\min _{\bf{x}}}{\left\| {\bf{x}} \right\|_0}{\rm{ }}\quad s.t.\quad{\rm{ }}{\bf{y}} = {\bf{Ax}}{\rm{~~~~~~~~(3)}} \]

求解（3）式的過程稱為信號的重建，信號的重建算法是壓縮感知的關鍵問題之一，目前壓縮感知重構算法主要可以分為基於\({\ell _0}\)范數的貪婪算法、基於\({\ell _1}\)范數的凸優化算法和組合算法等類別。

經典的重構算法羅列如下：

基於\({\ell _0}\)范數的貪婪算法：

匹配追蹤算法（Matching Pursuit, MP）
正交匹配追蹤算法（Orthogonal Matching Pursuit, OMP）
正則化OMP算法（Regularized Orthogonal Matching Pursuit, ROMP）
壓縮采樣匹配追蹤算法（Compressive Sampling Matching Pursuit CoSaMP）
子空間追蹤算法（Subspace pursuit, SP）
分段正交匹配追蹤算法
廣義正交匹配追蹤算法（Generalized Orthogonal Matching Pursuit, GOMP）
......

基於\({\ell _1}\)范數的凸松弛算法

基追蹤（Basis Pursuit，BP)
基追蹤降噪（Basis Pursuit DE-NOISING，BPDN）
最小角回歸（Least Angle Regression，LAS）
近似消息傳遞（Approximate Message Passing，AMP）
迭代軟閾值算法（Iterative Shrinkage Thresholding Algorithm, ISTA）
加速迭代軟閾值算法（Fast Iterative Shrinkage Thresholding Algorithm, FISTA）
......

迭代硬閾值類算法

迭代硬閾值算法（Iterative Hard Thresholding, IHT）
正規化迭代硬閾值算法（Normalized Iterative Hard Thresholding, NIHT）
加速迭代硬閾值算法（Accelerated Iterative Hard Thresholding, AIHT）
共軛梯度迭代硬閾值算法（Conjugate Gradient Iterative Hard Thresholding, CGIHT）
基於回溯的迭代硬閾值迭代算法（Backtracking based Iterative Hard Thresholding, BIHT）
基於回溯的共軛梯度迭代硬閾值迭代算法（Conjugate Gradient based Backtracking Iterative Hard Thresholding, BIHT）
......