淺談壓縮感知（二十四）：壓縮感知重構算法之子空間追蹤（SP）

主要內容：

1. SP的算法流程
2. SP的MATLAB實現
3. 一維信號的實驗與結果
4. 測量數M與重構成功概率關系的實驗與結果
5. SP與CoSaMP的性能比較

一、SP的算法流程

壓縮采樣匹配追蹤(CoSaMP)與子空間追蹤（SP）幾乎完全一樣，因此算法流程也基本一致。

SP與CoSaMP主要區別在於"Ineach iteration, in the SP algorithm, only K new candidates are added, while theCoSAMP algorithm adds 2K vectors."，即SP每次選擇K個原子，而CoSaMP則選擇2K個原子；這樣帶來的好處是"This makes the SP algorithm computationally moreefficient,"。

SP的算法流程：

這個算法流程的初始化(Initialization)其實就是類似於CoSaMP的第1次迭代，注意第(1)步中選擇了K個原子："K indices corresponding to the largest magnitude entries"，在CoSaMP里這里要選擇2K個最大的原子，后面的其它流程都一樣。這里第(5)步增加了一個停止迭代的條件：當殘差經過迭代后卻變大了的時候就停止迭代。

具體的算法步驟與淺談壓縮感知（二十三）：壓縮感知重構算法之壓縮采樣匹配追蹤（CoSaMP）一致，只需將第(2)步中的2K改為K即可。

"貪婪類算法雖然復雜度低運行速度快，但其重構精度卻不如BP類算法，為了尋求復雜度和精度更好地折中，SP算法應運而生"，"SP算法與CoSaMP算法一樣其基本思想也是借用回溯的思想，在每步迭代過程中重新估計所有候選者的可信賴性"，"SP算法與CoSaMP算法有着類似的性質與優缺點"。

二、SP的MATLAB實現(CS_SP.m)

function [ theta ] = CS_SP( y,A,K )
%   CS_SP
%   Detailed explanation goes here
%   y = Phi * x
%   x = Psi * theta
%    y = Phi*Psi * theta
%   令 A = Phi*Psi, 則y=A*theta
%   K is the sparsity level
%   現在已知y和A，求theta
%   Reference:Dai W，Milenkovic O．Subspace pursuit for compressive sensing
%   signal reconstruction[J]．IEEE Transactions on Information Theory，
%   2009，55(5)：2230-2249.
    [m,n] = size(y);
    if m<n
        y = y'; %y should be a column vector
    end
    [M,N] = size(A); %傳感矩陣A為M*N矩陣
    theta = zeros(N,1); %用來存儲恢復的theta(列向量)
    pos_num = []; %用來迭代過程中存儲A被選擇的列序號
    res = y; %初始化殘差(residual)為y
    for kk=1:K %最多迭代K次
        %(1) Identification
        product = A'*res; %傳感矩陣A各列與殘差的內積
        [val,pos]=sort(abs(product),'descend');
        Js = pos(1:K); %選出內積值最大的K列
        %(2) Support Merger
        Is = union(pos_num,Js); %Pos_theta與Js並集
        %(3) Estimation
        %At的行數要大於列數，此為最小二乘的基礎(列線性無關)
        if length(Is)<=M
            At = A(:,Is); %將A的這幾列組成矩陣At
        else %At的列數大於行數，列必為線性相關的,At'*At將不可逆
            break; %跳出for循環
        end
        %y=At*theta，以下求theta的最小二乘解(Least Square)
        theta_ls = (At'*At)^(-1)*At'*y; %最小二乘解
        %(4) Pruning
        [val,pos]=sort(abs(theta_ls),'descend');
        %(5) Sample Update
        pos_num = Is(pos(1:K));
        theta_ls = theta_ls(pos(1:K));
        %At(:,pos(1:K))*theta_ls是y在At(:,pos(1:K))列空間上的正交投影
        res = y - At(:,pos(1:K))*theta_ls; %更新殘差 
        if norm(res)<1e-6 %Repeat the steps until r=0
            break; %跳出for循環
        end
    end
    theta(pos_num)=theta_ls; %恢復出的theta
end

三、一維信號的實驗與結果

%壓縮感知重構算法測試
clear all;close all;clc;
M = 64; %觀測值個數
N = 256; %信號x的長度
K = 12; %信號x的稀疏度
Index_K = randperm(N);
x = zeros(N,1);
x(Index_K(1:K)) = 5*randn(K,1); %x為K稀疏的，且位置是隨機的
Psi = eye(N); %x本身是稀疏的，定義稀疏矩陣為單位陣x=Psi*theta
Phi = randn(M,N); %測量矩陣為高斯矩陣
A = Phi * Psi; %傳感矩陣
y = Phi * x; %得到觀測向量y

%% 恢復重構信號x
tic
theta = CS_SP( y,A,K );
x_r = Psi * theta; % x=Psi * theta
toc

%% 繪圖
figure;
plot(x_r,'k.-'); %繪出x的恢復信號
hold on;
plot(x,'r'); %繪出原信號x
hold off;
legend('Recovery','Original')
fprintf('\n恢復殘差：');
norm(x_r-x) %恢復殘差

四、測量數M與重構成功概率關系的實驗與結果

clear all;close all;clc;

%% 參數配置初始化
CNT = 1000; %對於每組(K,M,N)，重復迭代次數
N = 256; %信號x的長度
Psi = eye(N); %x本身是稀疏的，定義稀疏矩陣為單位陣x=Psi*theta
K_set = [4,12,20,28,36]; %信號x的稀疏度集合
Percentage = zeros(length(K_set),N); %存儲恢復成功概率

%% 主循環，遍歷每組(K,M,N)
tic
for kk = 1:length(K_set)
    K = K_set(kk); %本次稀疏度
    M_set = 2*K:5:N; %M沒必要全部遍歷，每隔5測試一個就可以了
    PercentageK = zeros(1,length(M_set)); %存儲此稀疏度K下不同M的恢復成功概率
    for mm = 1:length(M_set)
       M = M_set(mm); %本次觀測值個數
       fprintf('K=%d,M=%d\n',K,M);
       P = 0;
       for cnt = 1:CNT %每個觀測值個數均運行CNT次
            Index_K = randperm(N);
            x = zeros(N,1);
            x(Index_K(1:K)) = 5*randn(K,1); %x為K稀疏的，且位置是隨機的                
            Phi = randn(M,N)/sqrt(M); %測量矩陣為高斯矩陣
            A = Phi * Psi; %傳感矩陣
            y = Phi * x; %得到觀測向量y
            theta = CS_SP(y,A,K); %恢復重構信號theta
            x_r = Psi * theta; % x=Psi * theta
            if norm(x_r-x)<1e-6 %如果殘差小於1e-6則認為恢復成功
                P = P + 1;
            end
       end
       PercentageK(mm) = P/CNT*100; %計算恢復概率
    end
    Percentage(kk,1:length(M_set)) = PercentageK;
end
toc
save SPMtoPercentage1000 %運行一次不容易，把變量全部存儲下來

%% 繪圖
S = ['-ks';'-ko';'-kd';'-kv';'-k*'];
figure;
for kk = 1:length(K_set)
    K = K_set(kk);
    M_set = 2*K:5:N;
    L_Mset = length(M_set);
    plot(M_set,Percentage(kk,1:L_Mset),S(kk,:));%繪出x的恢復信號
    hold on;
end
hold off;
xlim([0 256]);
legend('K=4','K=12','K=20','K=28','K=36');
xlabel('Number of measurements(M)');
ylabel('Percentage recovered');
title('Percentage of input signals recovered correctly(N=256)(Gaussian)');

五、SP與CoSaMP的性能比較

分別運行SP和CoSaMP中的"測量數M與重構成功概率關系的實驗與結果"后，將相關變量load進來，並畫在同一張圖上，即可看出孰優孰劣。

clear all;close all;clc;
load CoSaMPMtoPercentage1000;
PercentageCoSaMP = Percentage;
load SPMtoPercentage1000;
PercentageSP = Percentage;
S1 = ['-ks';'-ko';'-kd';'-kv';'-k*'];
S2 = ['-rs';'-ro';'-rd';'-rv';'-r*'];
figure;
for kk = 1:length(K_set)
    K = K_set(kk);
    M_set = 2*K:5:N;
    L_Mset = length(M_set);
    plot(M_set,PercentageCoSaMP(kk,1:L_Mset),S1(kk,:));%繪出x的恢復信號
    hold on;    
    plot(M_set,PercentageSP(kk,1:L_Mset),S2(kk,:));%繪出x的恢復信號
end
hold off;
xlim([0 256]);
legend('CoSaK=4','SPK=4','CoSaK=12','SPK=12','CoSaK=20',...
    'SPK=20','CoSaK=28','SPK=28','CoSaK=36','SPK=36');
xlabel('Number of measurements(M)');
ylabel('Percentage recovered');
title('Percentage of input signals recovered correctly(N=256)(Gaussian)');

結論：從總體上看，SP優於CoSaMP（尤其是在M較小的時候）

六、參考文章

http://blog.csdn.net/jbb0523/article/details/45441459