K-L變換

      K-L變換（ Karhunen-Loeve Transform）是建立在統計特性基礎上的一種變換，有的文獻也稱為霍特林（Hotelling）變換，因他在1933年最先給出將離散信號變換成一串不相關系數的方法。K-L變換的突出優點是去相關性好，是均方誤差（MSE，Mean Square Error）意義下的最佳變換，它在數據壓縮技術中占有重要地位。

K-L（Karhunen-Loeve）變換形式

設X=(X1，X2，…，XN) T為N維隨機矢量，mX=E(X)和CX=E{(X－mX)(X－mX)T}分別為其平均值向量和協方差矩陣，ei和λi分別為CX的特征向量和對應的特征值，其中i=1，…，N，並設特征值已按降序排列，即λ1≥λ2≥…≥λN，則K-L變換式為：[1] 

Y=A(X-mx) (1.1)

其中變換矩陣A的行為CX的特征值，即：

式中：eij表示第i個特征向量的第j個分量。

K-L變換的性質

①Y的均值向量為零向量0。即：

mY=E{Y} =E{A(X-mX)}=0 (1.2)

②K-L變換使矢量信號各分量不相關，即變換域信號的協方差為對角矩陣。

③K-L反變換式為：

X=A -1Y+mX=ATY+mx (1.3)

④K-L變換是在均方誤差准則下失真最小的一種變換，故又稱作最佳變換。

這條性質與壓縮編碼有關。其意義是，如果在數據傳輸中只傳送變換后的前n個系數組成的矢量，則根據這n個系數得到的恢復值可以得到最小的均方誤差，其值為：

上式表明，在K-L變換下，最小均方誤差值等於變換域中矢量信號的最小的N－n個方差的和。特別有意義的是，如果這些分量的均值為零，則在恢復時只要把這些分量置零，便可以使均方誤差最小。

圖像信號的K-L變換

K-L變換是一維變換，在對圖像信號進行變換時，矢量可以是一幅圖像或一幅圖像中的子圖像。矢量各分量之間的相關性反映了像素之間的相關性。為了得到矢量X，可以將圖像或子圖像的像素按行行相接或列列相接的次序排列，如圖1所示。

(a)行行相接

(b)列列相接

圖1由二維圖像信號建立矢量信號

在建立了矢量信號之后，就要計算協方差矩陣CX，然后計算的特征矢量才能得到K-L變換矩陣A。

由此可見，盡管K-L變換具有性質(2)和(4)的最佳去相關和誤差性能，但是由於求解特征值和特征根並非易事，特別是在維數高時甚至可能求不出來，而且變換矩陣與圖像的內容有關，因而難以滿足實時處理的要求。但是，K-L變換在變換編碼中具有理論指導意義，人們通過比較，尋找出一些性能與K-L變換接近，但實現卻容易得多的“准最佳”編碼方法。

 

聚類變換認為：重要的分量就是能讓變換后類內距離小的分量。類內距離小，意味着抱團抱得緊。但是，抱團抱得緊，真的就一定容易分類么？

如圖1所示，根據聚類變換的原則，我們要留下方差小的分量，把方差大（波動大）的分量丟掉，所以兩個橢圓都要向y軸投影，這樣悲劇了，兩個重疊在一起，根本分不開了。而另一種情況卻可以這么做，把方差大的分量丟掉，於是向x軸投影，很順利就能分開了。因此，聚類變換並不是每次都能成功的。

圖1

 

摧枯拉朽的K-L變換

K-L變換是理論上“最好”的變換：是均方誤差（MSE，MeanSquare Error）意義下的最佳變換，它在數據壓縮技術中占有重要地位。

 

聚類變換還有一個問題是，必須一類一類地處理，把每類分別變換，讓它們各自抱團。

K-L變換要把所有的類別放在一起變換，希望通過這個一次性的變換，讓它們分的足夠開。

 

K-L變換認為：各類抱團緊不一定好區分。目標應該是怎么樣讓類間距離大，或者讓不同類好區分。因此對應於2種K-L變換。

 

其一：最優描述的K-L變換（沿類間距離大的方向降維）

首先來看個二維二類的例子，如圖2所示。

圖2

 

如果使用聚類變換，方向是方差最小的方向，因此降維向方向投影，得到2類之間的距離即為2條紅線之間的距離，但是這並不是相隔最遠的投影方向。將橢圓投影到方向，得到2類之間的距離為2條綠線之間的距離。這個方向就是用自相關矩陣的統計平均得到的特征向量

設共有M個類別，各類出現的先驗概率為

以表示來自第i類的向量。則第i類集群的自相關矩陣為：

混合分布的自相關矩陣R是：

然后求出R的特征向量和特征值：

將特征值降序排列（注意與聚類變換區別）

為了降到m維，取前m個特征向量，構成變換矩陣A

以上便完成了最優描述的K-L變換。

 

為什么K-L變換是均方誤差（MSE，MeanSquare Error）意義下的最佳變換？

其中表示n維向量y的第j個分量，表示第個特征分量。

引入的誤差

均方誤差為

 

從m+1開始的特征值都是最小的幾個，所以均方誤差得到最小。

 

以上方法稱為最優描述的K-L變換，是沿類間距離大的方向降維，從而均方誤差最佳。

本質上說，最優描述的K-L變換扔掉了最不顯著的特征，然而，顯著的特征其實並不一定對分類有幫助。我們的目標還是要找出對分類作用大的特征，而不應該管這些特征本身的強弱。這就誕生了第2種的K-L變換方法。

 

其二：最優區分的K-L變換（混合白化后抽取特征）

針對上述問題，最優區分的K-L變換先把混合分布白化，再來根據特征值的分離程度進行排序。

 

最優區分的K-L變換步驟

首先還是混合分布的自相關矩陣R

 

然后求出R的特征向量和特征值：

 

以上是主軸變換，實際上是坐標旋轉，之前已經介紹過。

令變換矩陣

 

則有

 

這個作用是白化R矩陣，這一步是坐標尺度變換，相當於把橢圓整形成圓，如圖3所示。

 

圖3

 

以二類混合分布問題為例。

 

分別求出二類的特征向量和特征值，有

 

則二者的特征向量完全相同，唯一的據別在於其特征根，而且還負相關，即如果取降序排列時，則以升序排列。

為了獲得最優區分，要使得兩者的特征值足夠不同。因此，需要舍棄特征值接近0.5的那些特征，而保留使大的那些特征，按這個原則選出了m個特征向量記作

 

則總的最優區分的K-L變換就是：