詳解2D-PCA （二維PCA）

 

傳統的一維PCA和LDA方法是在圖像識別的時候基於圖像向量，在這些人臉識別技術中，2D的人臉圖像矩陣必須先轉化為1D的圖像向量，然后進行PCA或者LDA分析。缺點是相當明顯的：

 　　一、轉化為一維之后，維數過大，計算量變大。

　　二、主成分分析的訓練是非監督的，即PCA無法利用訓練樣本的類別信息。

　　三、識別率不是很高。

本文介紹的是2DPCA，2DPCA顧名思義是利用圖像的二維信息。

      2DPCA算法簡介

　　設X表示n維列向量，將mxn的圖像矩陣A通過如下的線性變化直接投影到X上：

　　　　　　　　　　

得到一個m維的列向量Y,X為投影軸，Y稱為圖像A的投影向量。最佳投影軸X可以根據特征相憐Y的散度分布情況來決定，采用的准則如下：

　　　　　　　　　　　　

其中Sx表示的是訓練樣本投影特征向量Y的協方差矩陣，tr(Sx)帶便的是Sx的跡，但此准則去的最大的值得時候，物理意義是：找到一個將所有訓練樣本投影在上面的投影軸X，使得投影后的所得到的的特征向量的總體散布矩陣（樣本類之間的散布矩陣）最大化。矩陣Sx可以記為如下的式子：

　所以呀，

                         　　　　

散度的形象化理解：

　　　　　　　　　　　　　　　　　

我們接着定義下面的矩陣：

                             　　

其中Gt被定義為圖像的協方差矩陣，它是一個nxn的矩陣，我們可以后直接利用訓練樣本來計算Gt。假設訓練樣本總數為M個，訓練圖像樣本為mxn的矩陣Aj(j=1...M),所有的訓練樣本的平均圖像是，則Gt可以用下面的式子計算：

　　　　　　　　　　　　　　　　

那么原式可以轉化為

其中X是歸一化的正交向量。這個准則就叫做廣義總體散布准則。二X就使准則最大化，叫做最佳投影軸。物理意義是：圖像矩陣在軸上面投影之后得到的特征向量的總體分散程度最大。

 這里的最佳投影軸Xopt是歸一化的向量，使得J(X)最大化。

我們通常選取一系列的標准正交話投影軸，即設Gt的特征值從大到小，則對應的向量為：

　　

圖像的特征矩陣：

      X1，...Xd可以用於特征的提取。對於一個給定的圖像樣本A,有下面的式子成立：

 

這樣我們就得到一組投影特征向量Y1，...Yd,叫圖像A的主要成分向量。2DPCA選取一定數量d的主要成分向量可以組成一個mxd的矩陣，叫圖像A的特征或者特征圖像，即：

　　

利用上面得到的特征圖像進行分類：

         經過上面的圖像特征化之后，每個圖像都能得到一個特征矩陣。設有C個已知的模式分類w1,w2,.....wc，ni表示第i類的訓練樣本數，訓練樣本圖像的投影特征向量,（i=1,2...C;j=1,2...,ni）,第i類投影特征向量的均值為，在投影空間內部，最鄰近分類規則是：如果樣本Y滿足：

同時最小距離分類規則是：如果樣本Y滿足

　　　　　　　　　　　　　　

隨便編了一下：

 

allsamples=[];
global pathname;
global Y;
global x;
global p;
global train_num;
global M;
global N;
M=112;%row
N=92;%column
train_num=200;
Gt=zeros(N,N);
pathname='C:\matlabworkspace\mypca\ORL\s';
for i=1:40
    suma=zeros(M,N);
        for j=1:5
            a=imread(strcat(pathname,num2str(i),'\',num2str(j),'.pgm'));
            a=double(a);
            suma=suma+a;
        end
            averageA=suma/5;
        for j=1:5
               a=imread(strcat(pathname,num2str(i),'\',num2str(j),'.pgm'));
               a=double(a);
              Gt=Gt+(a-averageA)'*(a-averageA);
        end
end

    Gt=Gt/train_num;
    
    [v d]=eig(Gt);
  for i=1:N
        dd(i)=d(i,i);
  end
    [d2 index]=sort(dd,'descend');
    
    cols=size(v,2)
   for i=1:cols
        dsort(:,i)=v(:,index(i));
   end
  
   dsum=sum(dd);
   dsum_extract=0;
  
   p=0;
   while(dsum_extract/dsum<0.8)
   p=p+1;
   dsum_extract=dsum_extract+dd(p);
   end
  x=dsort(:,1:p);
 x
  p
  size(x)
 Y=cell(40);
  for  i=1:40
      tempA=zeros(M,N);
      for j=1:5
          a=imread(strcat(pathname,num2str(i),'\',num2str(j),'.pgm'));
          a=double(a);
          tempA=tempA+a;
      end
      tempA=tempA/5;
      Y(i)=mat2cell(tempA*x);
  end
  
 %test course
 
 accu=0;
 for i=1:40
     for j=6:10
     a=imread(strcat(pathname,num2str(i),'\',num2str(j),'.pgm'));
     a=double(a);
     tempY=a*x;
     tempindex=1;
     tempsum=10000000;
     for k=1:40
         sumlast=0.0;
         YY=cell2mat(Y(k));
         
          for l=1:p
             sumlast=sumlast+norm(tempY(:,l)-YY(:,l));
          end
          
          if(tempsum>sumlast)
              tempsum=sumlast;
              tempindex=k;
          end
     end
     if tempindex==i
         accu=accu+1;
     end
     end
 end
     accuracy=accu/200
          
       
    
    
    
            

結果：

沒有用交叉驗證法，所以精確度不是很高（我懶啊:)），僅作參考，如有錯誤，希望幫我指出來哈。