1. 顏色特征
1.1. 顏色直方圖
顏色直方圖是在許多圖像檢索系統中被廣泛采用的顏色特征。它所描述的是不同色彩在整幅圖像中所占的比例,而並不關心每種色彩所處的空間位置,即無法描述圖像中的對象或物體。顏色直方圖特別適於描述那些難以進行自動分割的圖像。
- 易於表達不同顏色的比例
- 難以描述顏色的布局分布
1.1.1. 基於RGB色彩空間
或者在同一張圖像中使用折線圖表達
1.1.2. 基於HSV色彩空間
顏色直方圖可以是基於不同的顏色空間和坐標系。最常用的顏色空間是RGB顏色空間,原因在於大部分的數字圖像都是用這種顏色空間表達的。然而,RGB空間結構並不符合人們對顏色相似性的主觀判斷。因此,有人提出了基於HSV空間、Luv空間和Lab空間的顏色直方圖,因為它們更接近於人們對顏色的主觀認識。
1.1.3. 基於灰度圖
1.1.4. 顏色量化
計算顏色直方圖需要將顏色空間划分成若干個小的顏色區間,每個小區間成為直方圖的一個bin。這個過程稱為顏色量化(color quantization)。然后,通過計算顏色落在每個小區間內的像素數量可以得到顏色直方圖。
顏色量化有許多方法,例如向量量化、聚類方法或者神經網絡方法。最為常用的做法是將顏色空間的各個分量(維度)均勻地進行划分。相比之下,聚類算法則會考慮到圖像顏色特征在整個空間中的分布情況,從而避免出現某些bin中的像素數量非常稀疏的情況,使量化更為有效。
另外,如果圖像是RGB格式而直方圖是HSV空間中的,我們可以預先建立從量化的RGB空間到量化的HSV空間之間的查找表(look-up table),從而加快直方圖的計算過程。
上述的顏色量化方法會產生一定的問題。設想兩幅圖像的顏色直方圖幾乎相同,只是互相錯開了一個bin,這時如果我們采用L1距離或者歐式距離計算兩者的相似度,會得到很小的相似度值。為了克服這個缺陷,需要考慮到相似但不相同的顏色之間的相似度。
- 一種方法是采用二次式距離。
- 另一種方法是對顏色直方圖事先進行平滑過濾,即每個bin中的像素對於相鄰的幾個bin也有貢獻。這樣,相似但不相同顏色之間的相似度對直方圖的相似度也有所貢獻。
1.1.5. bin的選取(忽略數值較小的bin區間)
選擇合適的顏色小區間(即直方圖的bin)數目和顏色量化方法與具體應用的性能和效率要求有關。一般來說,顏色小區間的數目越多,直方圖對顏色的分辨能力就越強。
然而,bin的數目很大的顏色直方圖不但會增加計算負擔,也不利於在大型圖像庫中建立索引。而且對於某些應用來說,使用非常精細的顏色空間划分方法不一定能夠提高檢索效果,特別是對於不能容忍對相關圖像錯漏的那些應用。
一種有效減少直方圖bin的數目的辦法是只選用那些數值最大(即像素數目最多)的bin來構造圖像特征,因為這些表示主要顏色的bin能夠表達圖像中大部分像素的顏色。實驗證明這種方法並不會降低顏色直方圖的檢索效果。事實上,由於忽略了那些數值較小的bin,顏色直方圖對噪聲的敏感程度降低了,有時會使檢索效果更好。
1.1.6. 特征匹配
顏色直方圖特征匹配方法:
- 直方圖相交法
- 距離法
- 中心距法
- 參考顏色表法
- 累加顏色直方圖法
1.2. 顏色集
[論文(1995): Single color extraction and image query](數字圖像處理-特征提取/Single color extraction and image query.pdf)
為支持大規模圖像庫中的快速查找,Smith和Chang提出了用顏色集(color sets)作為對顏色直方圖的一種近似。他們首先將RGB顏色空間轉化成視覺均衡的顏色空間(如HSV空間),並將顏色空間量化成若干個 bin
。然后,他們用色彩自動分割技術將圖像分為若干區域,每個區域用量化顏色空間的某個顏色分量來索引,從而將圖像表達一個二進制的顏色索引集。
在圖像匹配中,比較不同圖像顏色集之間的距離和色彩區域的空間關系(包括區域的分離、包含、交等,每種對應於不同得評分)。因為顏色集表達為二進制的特征向量,可以構造二分查找樹來加快檢索速度,這對於大規模的圖像集合十分有利。
1.3. 顏色矩
另一種非常簡單而有效的顏色特征使由Stricker和Orengo所提出的顏色矩(color moments) [1] 。這種方法的數學基礎在於圖像中任何的顏色分布均可以用它的矩來表示。此外,由於顏色分布信息主要集中在低階矩中,因此僅采用顏色的一階矩(mean)、二階矩(variance)和三階矩(skewness)就足以表達圖像的顏色分布。
與顏色直方圖相比,該方法的另一個好處在於無需對特征進行向量化。因此,圖像的顏色矩一共只需要9個分量(3個顏色分量,每個分量上3個低階矩),與其他的顏色特征相比是非常簡潔的。在實際應用中為避免低次矩較弱的分辨能力,顏色矩常和其它特征結合使用,而且一般在使用其它特征前起到過濾縮小范圍(narrow down)的作用。
同顏色直方圖一樣,顏色矩無法表達圖像色彩的空間位置。
1.4. 顏色聚合向量
針對顏色直方圖和顏色矩無法表達圖像色彩的空間位置的缺點,Pass提出了圖像的顏色聚合向量(color-coherence vector)。它是顏色直方圖的一種演變,其核心思想是將屬於直方圖每一個bin的像素進行分為兩部分:如果該bin內的某些像素所占據的連續區域的面積大於給定的閾值,則該區域內的像素作為聚合像素,否則作為非聚合像素。假設αi與βi分別代表直方圖的第i個bin中聚合像素和非聚合像素的數量,圖像的顏色聚合向量可以表達為<(α1,β1), (α2,β2),…,(αN,βN)>。而<α1+β1,α2+β2,…,αN+βN>就是該圖像的顏色直方圖。由於包含了顏色分布的空間信息,顏色聚合向量相比顏色直方圖可以達到更好的檢索效果。
1.5. *顏色相關圖
[論文(1997): Image Indexing Using Color Correlograms](數字圖像處理-特征提取/Image Indexing Using Color Correlograms.pdf)
顏色相關圖(color correlogram)是圖像顏色分布的另一種表達方式 。這種特征不但刻畫了某一種顏色的像素數量占整個圖像的比例,還反映了不同顏色對之間的空間相關性。
顏色相關圖用於圖像檢索,並被證明在基於內容的圖像檢索中顏色相關圖特征要優於比顏色直方圖。傳統的顏色直方圖只刻畫了某一種顏色的像素數目占像素總數目的比例,只是一種全局的統計關系,而顏色相關圖則表達了顏色隨距離變換的空間關系,也就是顏色相關圖不僅包含圖像顏色統計信息,同時包括顏色之間的空間關系。
實驗表明,顏色相關圖比顏色直方圖和顏色聚合向量具有更高的檢索效率,特別是查詢空間關系一致的圖像。
如果考慮到任何顏色之間的相關性,顏色相關圖會變得非常復雜和龐大(空間復雜度為O(n^2D))。一種簡化的變種是顏色自動相關圖(color auto-correlogram),它僅僅考察具有相同顏色的像素間的空間關系,因此空間復雜度降到O(nD)。
2. 形狀特征
各種基於形狀特征的檢索方法都可以比較有效地利用圖像中感興趣的目標來進行檢索,但它們也有一些共同的問題,包括:
- 目前基於形狀的檢索方法還缺乏比較完善的數學模型;
- 如果目標有變形時檢索結果往往不太可靠;
- 許多形狀特征僅描述了目標局部的性質,要全面描述目標常對計算時間和存儲量有較高的要求;
- 許多形狀特征所反映的目標形狀信息與人的直觀感覺不完全一致,或者說,特征空間的相似性與人視覺系統感受到的相似性有差別。
另外,從2D圖像中表現的3D物體實際上只是物體在空間某一平面的投影,從2D圖像中反映出來的形狀常不是3D物體真實的形狀,由於視點的變化,可能會產生各種失真。
形狀特征有兩類表示方法,一類是輪廓特征,一類是區域特征。圖像的輪廓特征主要針對物體的外邊界;而圖像的區域特征則關系到整個形狀區域。下面將介紹幾種典型的形狀特征描述方法:
-
邊緣
邊緣是組成兩個圖像區域之間邊界(或邊緣)的像素。一般一個邊緣的形狀可以是任意的,還可能包括交叉點。在實踐中邊緣一般被定義為圖像中擁有大的梯度的點組成的子集。一些常用的算法還會把梯度高的點聯系起來來構成一個更完善的邊緣的描寫。這些算法也可能對邊緣提出一些限制。局部地看邊緣是一維結構。
-
角
角是圖像中點似的特征,在局部它有兩維結構。早期的算法首先進行邊緣檢測,然后分析邊緣的走向來尋找邊緣突然轉向(角)。后來發展的算法不再需要邊緣檢測這個步驟,而是可以直接在圖像梯度中尋找高度曲率。后來發現這樣有時可以在圖像中本來沒有角的地方發現具有同角一樣的特征的區域。
-
區域
區域描述的是一個圖像中的一個區域性的結構,但是區域也可能僅由一個像素組成,因此許多區域檢測也可以用來監測角。一個區域監測器檢測圖像中一個對於角監測器來說太平滑的區域。區域檢測可以被想象為把一張圖像縮小,然后在縮小的圖像上進行角檢測。
-
脊
長條形的物體被稱為脊。在實踐中脊可以被看作是代表對稱軸的一維曲線,此外局部針對於每個脊像素有一個脊寬度。從灰梯度圖像中提取脊要比提取邊緣、角和區域困難。在空中攝影中往往使用脊檢測來分辨道路,在醫學圖像中它被用來分辨血管。
特征被檢測后它可以從圖像中被抽取出來。這個過程可能需要許多圖像處理的計算機。其結果被稱為特征描述或者特征向量。
近年來,在形狀的表示和匹配方面的工作還包括有限元法(Finite
Element Method 或 FEM)、旋轉函數(Turning Function)和小波描述符(Wavelet
Descriptor)等方法。
2.1. 基於小波和相對矩的形狀特征提取與匹配
該方法先用小波變換模極大值得到多尺度邊緣圖像,然后計算每一尺度的 7個不變矩,再轉化為10個相對矩,將所有尺度上的相對矩作為圖像特征向量,從而統一了區域和封閉、不封閉結構。
3. 區域特征
3.1. 面積法
到目前為止,最簡單的區域特征是區域的面積:
由上式可知,區域的面積α就是區域內的點數IRI。如果區域是用一幅二值圖像表示的,那么用上式中的第一個求和等式計算區域的面積;如果區域是用行程編碼表示的,那么用上式中的第二個求和等式計算區域的面積。區域的行程表示法可使區域面積的計算速度快很多,這個特點對幾乎所有的區域特征都適用。
3.2. *矩特征
面積是被稱為 區域的矩
的廣義特征中的一個特例。
由 矩
推斷出的數據(例如重心),屬於亞像素精度特征。
可以通過一個橢圓來形象的理解 區域的矩
。
橢圓的這些參數在確定區域的方位和尺寸時極其有用。例如角。能被用來對經過旋轉的文本進行校正。例如角度能被用來對經過旋轉的文本進行校正。
我們已經使用不同的變換來讓基於矩的特征對特定的變換結果保持不變。比如,平移和縮放后的結果。已經提出了一些新的方法,用這些方法建立的基於矩的特征可以在更多類型的變換結果上保持不變,比如平移、旋轉、縮放,甚至是仿射變換。這些方法優先被用來對物體進行分類。
除了基於矩的特征外,還存在許多其有用的特征,這些特征都基於為區域找到的一個外接幾何基元。
區域的另一個有用特征是區域的輪廓長度。 為計算此特征量,我們必須跟蹤區域的邊界以獲取一個輪廓,此輪廓將邊界上的全部點連接在一起。一旦得到了區域的輪廓,我們僅需將全部輪廓線段的歐幾里得距離求和即可。水平線段和垂直線段的歐幾里得距離都是1,而對角線段的距離是J2。基於區域的輪廓長度i和區域的面積α,我們能定義區域緊性的度量方法: c = l²/(4πa)
。所有圓形區域的緊性特征值都是1,而其他區域的緊性特征值更大。緊性與凸性有着類似的用途。
3.3. 灰度值特征
區域內的最大灰度值和最小灰度值:
區域內灰度值的平均值是另一個明顯的灰度值特征:
另一個統計特征是灰度值的方差和標准偏差 。
在一個參考區域內測出的平均值和標准偏差也能被用來建立-個線性灰度值變換,此變換可以補償亮度的變化。標准偏差能夠被用來調整分割闊值。而且,標准偏差可用來測量存在於區域內紋理的多少。
灰度值直方圖和累積直方圖也屬於灰度值特征。
由灰度值矩計算得到的面積和重心更准確。本例中,灰度值矩返回的面積誤差總是 小於0.25%,位置誤差小於1/200像素。與之相比,區域矩求得的面積誤差最高達到13.2%,位置誤差高達1月像素。注意兩種類型的矩得到的都是亞像素精度的測量結果。我們看到,盡管處理的是很小的物體,使用灰度值矩在理想的數據基礎上還是能得到極高准確度的處理結果。
同樣應該注意的是灰度值矩的准確度優勢主意體現在處理小的物體時。由於灰度值矩必須訪問區域內的每個像素,而區域矩僅需要基於 區域的行程編碼就可以計算,所以計算區域矩的速度更快。因此,灰度值矩在一般情況下只用於處理相對小的區域。
應用實例:
3.4. 幾何參數法
形狀的表達和匹配采用更為簡單的區域特征描述方法,如采用有關形狀定量測量(如矩、面積、周長等)的形狀參數法。
需要說明的是:形狀參數的提取,必須以圖像處理及圖像分割為前提,參數的准確性必然受到分割效果的影響,對分割效果很差的圖像,形狀參數甚至無法提取。
3.5. 形狀不變矩法
利用目標所占區域的矩作為形狀描述參數。
4. 輪廓特征
輪廓是一系列相連的點組成的曲線,代表了物體的基本外形。
輪廓與邊緣的不同:
- 輪廓是連續的,邊緣並不全都連續
- 邊緣主要作為圖像的物體特征;而輪廓主要用來分析物體的形態(如周長和面積)
- 邊緣包括輪廓。
一般在二值圖像中尋找輪廓,尋找輪廓是針對白色物體,即物體是白色,而背景是黑色。
4.1. 邊界特征法
通過對邊界特征的描述來獲取圖像的形狀參數。其中Hough變換檢測平行直線和邊界方向直方圖方法是經典方法。
4.1.1. Hough變換
Hough變換是利用圖像全局特性而將邊緣像素連接起來,組成區域封閉邊界的一種方法,其基本思想是點-線的對偶性。
4.1.2. 邊界方向直方圖
- 首先微分圖像求得圖像邊緣
- 做出關於邊緣大小和方向的直方圖,通常的方法是構造圖像灰度梯度方向矩陣
4.2. 傅里葉形狀描述符法
傅里葉形狀描述符(Fourier shape deors)基本思想是用物體邊界的傅里葉變換作為形狀描述,利用區域邊界的封閉性和周期性,將二維問題轉換為一維問題。
由邊界點導出三種形狀表達:曲率函數、質心距離、復坐標函數。
5. 紋理特征
紋理特征是一種全局特征,反映的是圖像中同質現象的視覺特征,體現物體表面的具有緩慢變換或周期性變化的表面組織結構排列屬性。圖像紋理通過像素及其周圍空間鄰域的灰度分布來表現,即局部紋理信息。另外,局部紋理信息不同程度上的重復性,就是全局紋理信息。
紋理特征的提取方法可分為:
- 基於結構的方法,將要檢測的紋理建模,在圖像中搜索重復的模式
- 基於統計數據的方法
紋理特征的提取與匹配主要有:灰度共生矩陣、Tamura 紋理特征、自回歸紋理模型、小波變換等。
5.1. 灰度共生矩陣(Gray-level Co-occurrence Matrix, GLCM)
GLCM特征提取與匹配主要依賴於能量、慣量、熵和相關性四個參數。
Tamura紋理特征基於人類對紋理的視覺感知心理學研究,提出6種屬性,即:
- 粗糙度
- 對比度
- 方向度
- 線像度
- 規整度
- 粗略度
自回歸紋理模型(simultaneous auto-regressive, SAR)是馬爾可夫隨機場(MRF)模型的一種應用實例。
5.2. 統計特性
灰度共生矩陣雖然提供了圖像灰度方向、間隔和變化幅度的信息,但它不能直接提供區別紋理的特性,因此需要在GLCM的基礎上計算用來定量描述紋理特征的統計屬性——常用的9種紋理特征統計屬性為:
5.3. LBP特征
LBP(Local Binary Pattern,局部二值模式)是一種用來描述圖像局部紋理特征的算子;它具有旋轉不變性和灰度不變性等顯著的優點。它是首先由T. Ojala, M.Pietikäinen, 和D. Harwood 在1994年提出,用於紋理特征提取
LBP算法的核心思想,是以某個像素點為中心,與其鄰域像素點共同計算。關於鄰域像素點的選擇方法,其實並不唯一:
- 原始的LBP算子定義的是在3*3的窗口內,以窗口中心像素為閾值,將相鄰的8個像素點灰度值與其進行比較。
- 后來的LBP算法也將相鄰8個像素點的位置改成了環形鄰域內8個點(也可能是環形鄰域多個點),進行順時針或逆時針的比較。