看到一篇從數學意義上講解Harris角點檢測很透徹的文章,轉載自:http://blog.csdn.net/newthinker_wei/article/details/45603583
主要參考了:http://blog.csdn.net/yudingjun0611/article/details/7991601 Harris角點檢測算子
本文將該文拷貝了過來,並做了一些數學方面的補充,以方便對數學已經生疏的小伙伴們參考理解。由於補充的內容還挺多,所以還是將本文標注為了原創。
我增加的部分在文中用 {{ }} 圈了起來並用紅色字體標注。
正文開始。
Harris角點檢測算子是於1988年由CHris Harris & Mike Stephens提出來的。在具體展開之前,不得不提一下Moravec早在1981就提出來的Moravec角點檢測算子。
1.Moravec角點檢測算子
Moravec角點檢測算子的思想其實特別簡單,在圖像上取一個W*W的“滑動窗口”,不斷的移動這個窗口並檢測窗口中的像素變化情況E。像素變化情況E可簡單分為以下三種:A 如果在窗口中的圖像是什么平坦的,那么E的變化不大。B 如果在窗口中的圖像是一條邊,那么在沿這條邊滑動時E變化不大,而在沿垂直於這條邊的方向滑動窗口時,E的變化會很大。 C 如果在窗口中的圖像是一個角點時,窗口沿任何方向移動E的值都會發生很大變化。
上圖就是對Moravec算子的形象描述。用數學語言來表示的話就是:
其中(x,y)就表示四個移動方向(1,0)(1,1)(0,1)(-1,1),E就是像素的變化值。Moravec算子對四個方向進行加權求和來確定變化的大小,然和設定閾值,來確定到底是邊還是角點。
2.Harris角點檢測算子
Harris角點檢測算子實質上就是對Moravec算子的改良和優化。在原文中,作者提出了三點Moravec算子的缺陷並且給出了改良方法:
1. Moravec算子對方向的依賴性太強,在上文中我們可以看到,Moravec算子實際上只是移動了四個45度角的離散方向,真正優秀的檢測算子應該能考慮到各個現象的移動變化情況。為此,作者采用微分的思想(這里不清楚的話可以復習下高數中的全微分):
其中:
所以E就可以表示為:
2.由於Moravec算子采用的是方形的windows,因此的E的響應比較容易受到干擾,Harris采用了一個較為平滑的窗口——高斯函數:
3.Moravec算子對邊緣響應過於靈敏。為此,Harris提出了對E進行變形:
對,沒錯,變成了二次型,果然是大牛,更牛的還在后面!其中,
用α,β表示矩陣M的特征值,這樣會產生三種情況:A 如果α,β都很小,說明高斯windows中的圖像接近平坦。 B 如果一個大一個小,則表示檢測到邊。 C 如果α,β都很大,那么表示檢測到了角點。
α,β是什么?α,β就是橢圓的長短軸的度量,什么?橢圓哪里來?橢圓就是那個二次型函數來的!下圖的意思我就不詳細講解了,相信大家能懂。
{{
轉載注:NewThinker_wei:
關於矩陣知識的一點補充:好長時間沒看過線性代數的話,這一段比較難理解。可以看到M是實對稱矩陣,這里簡單溫習一下實對稱矩陣和二次型的一些知識點吧。
1. 關於特征值和特征向量:
特征值的特征向量的概念忘了就自己查吧,這里只說關鍵的。對於實對稱矩陣M(設階數為n),則一定有n個實特征值,每個特征值對應一組特征向量(這組向量中所有向量共線),不同特征值對應的特征向量間相互正交;(注意這里說的是實對稱矩陣,不是所有的矩陣都滿足這些條件)
2. 關於對角化:
對角化是指存在一個正交矩陣Q,使得 Q’MQ 能成為一個對角陣(只有對角元素非0),其中Q’是Q的轉置(同時也是Q的逆,因為正交矩陣的轉置就是其逆)。一個矩陣對角化后得到新矩陣的行列式和矩陣的跡(對角元素之和)均與原矩陣相同。如果M是n階實對稱矩陣,則Q中的第 j 列就是第 j 個特征值對應的一個特征向量(不同列的特征向量兩兩正交)。
3. 關於二次型:
對於一個n元二次多項式,f(x1,x2....xn) = ∑ ( aij*xi*xj ) ,其中 i 和 j 的求和區間均為 [1,n] ,
可將其各次的系數 aij 寫成一個n*n矩陣M,由於 aij 和 aji 的對稱等價關系,一般將 aij 和 aji 設為一樣的值,均為 xi*xj 的系數的二分之一。這樣,矩陣M就是實對稱矩陣了。即二次型的矩陣默認都是實對稱矩陣
4. 關於二次型的標准化(正交變換法):
二次型的標准化是指通過構造一個n階可逆矩陣 C,使得向量 ( x1,x2...xn ) = C * (y1,y2...yn),把n維向量 x 變換成n維向量 y ,並代入f(x1,x2....xn) 后得到 g(y1,y2...yn),而后者的表達式中的二次項中不包含任何交叉二次項 yi*yj(全部都是平方項 yi^2),也即表達式g的二次型矩陣N是對角陣。用公式表示一下 f 和 g ,(下面的表達式中 x 和 y都代表向量,x' 和 y' 代表轉置)
f = x' * M * x ;
g = f = x' * M * x = (Cy)' * M * (Cy) = y' * (C'MC) * y = y' * N * y ;
因此 C‘MC = N。正交變換法,就是直接將M對角化得到N,而N中對角線的元素就是M的特征值。正交變換法中得到的 C 正好是一個正交矩陣,其每一列都是兩兩正交的單位向量,因此 C 的作用僅僅是將坐標軸旋轉(不會有放縮)。
OK,基礎知識補充完了,再來說說Harris角點檢測中的特征值是怎么回事。這里的 M 是
將M對角化后得到矩陣N,他們都是2階矩陣,且N的對角線元素就是本文中提到的 α 和 β。
本來 E(x,y) = A*x^2 + 2*C*x*y + B*y^2 ,而將其標准后得到新的坐標 xp和yp,這時表達式中就不再含有交叉二次項,新表達式如下:
E(x,y) = Ep (xp,yp) = α*xp^2 + β*yp^2,
我們不妨畫出 Ep (xp,yp) = 1 的等高線L ,即
α*xp^2 + β*yp^2 = 1 ,
可見這正好是(xp,yp)空間的一個橢圓,而α 和 β則分別是該橢圓長、短軸平方的倒數(或者反過來),且長短軸的方向也正好是α 和 β對應的特征向量的方向。由於(x,y)空間只是 (xp,yp)空間的旋轉,沒有放縮,因此等高線L在(x,y)空間也是一個全等的橢圓,只不過可能是傾斜的。
現在就能理解下面的圖片中出現的幾個橢圓是怎么回事了,圖(a)中畫的正是高度為 1 的等高線,(其他”高度“處的等高線也是橢圓,只不過長短軸的長度還要乘以一個系數)。其他的幾幅圖片中可以看到,“平坦”區域由於(高度)變化很慢,等高線(橢圓)就比較大;而”邊緣“區域則是在一個軸向上高度變化很快,另一個與之垂直的軸向上高度變化很慢,因此一個軸很長一個軸很短;“角點”區域各個方向高度都變化劇烈,因此橢圓很小。我們人眼可以直觀地看到橢圓的大小胖瘦,但如何讓計算機識別這三種不同的幾何特征呢?為了能區分出角點、邊緣和平坦區域我們現在需要用α 和 β構造一個特征表達式,使得這個特征式在三種不同的區域有明顯不同的值。一個表現還不錯的特征表達式就是:
(αβ) - k(α+β)^2
表達式中的 k 的值怎么選取呢?它一般是一個遠小於 1 的系數,opencv的默認推薦值是 0.04(=0.2的平方),它近似地表達了一個閾值:當橢圓短、長軸的平方之比(亦即α 和 β兩個特征值之比)小於這個閾值時,認為該橢圓屬於“一個軸很長一個軸很短”,即對應的點會被認為是邊緣區域。
對於邊緣部分,(假設較大的特征值為β)由於 β>>α且α<kβ,因此特征式 :
(αβ) - k(α+β)^2 ≈ αβ - kβ^2 < (kβ)β - kβ^2 = 0
即邊緣部分的特征值小於0 ;
對於非邊緣部分,α 和 β相差不大,可認為 (α+β)^2 ≈ 4αβ,因此特征式:
(αβ) - k(α+β)^2 ≈ αβ - 4kαβ = ( 1 - 4k ) * αβ
由於 k 遠小於1,因此 1 - 4k ≈ 1,這樣特征式進一步近似為:
(αβ) - k(α+β)^2 ≈ αβ
在角點區域,由於α 和 β都較大,對應的特征式的值也就很大;而在平坦區域,特征式的值則很小。
因此,三種不同區域的判別依據就是: 如果特征表達式的值為負,則屬於邊緣區域;如果特征表達式的值較大,則屬於角點區域;如果特征表達式的值很小,則是平坦區域。
最后,由於αβ和(α+β)正好是M對角化后行列式和跡,再結合上面補充的基礎知識第2條中提到的行列式和跡在對角化前后不變,就可以得到 (αβ) - k(α+β)^2 = det(M) - k*Tr(M)^2,這就是Harris檢測的表達式。
轉載注解完畢,下面接原文。
}}
有人又要問了,你怎么知道我檢測到α,β算大還是算小?對此天才哈里斯定義了一個角點響應函數:
其中(這些都是線性代數里的知識):
我們驚喜的發現,R為正值是,檢測到的是角點,R為負時檢測到的是邊,R很小時檢測到的是平坦區域。至於他怎么想出來的,我就不得而知了......
Harris角點檢測算法有諸多優點:A 旋轉不變性,橢圓轉過一定角度但是其形狀保持不變(特征值保持不變)
B 對於圖像灰度的仿射變化具有部分的不變性,由於僅僅使用了圖像的一介導數,對於圖像灰度平移變化不變;對於圖像灰度尺度變化不變
當然Harris也有許多不完善的地方:A 它對尺度很敏感,不具備幾何尺度不變性。
B 提取的角點是像素級的。以至於后來又有許多牛人提出了更多更完善的檢測算子,且聽下回分解!