顯著性論文學習階段總結(二)


1.Ali Borji, Laurent Itti, Exploiting Local and Global Patch Rarities for Saliency Detection, CVPR2012

1) 系統框架:

 

2) 算法思路:

① 圖像表示:本文通過1500張圖像中,在各通道提取出的8*8patch,學到了一個自然圖像的字典。使用這個字典以及一系列的系數α就可以重組任何一個patch。各通道分別進行。因此,在學習了字典,並且使用Matlab中的LARS算法進行了稀疏編碼系數α的估計之后,每個patch通過系數表示成一個矢量。

② 顯著度計算:在這些矢量上進行局部和全局顯著度的計算。局部顯著度為兩個圖像塊系數向量在特征空間里的歐幾里得距離,用空間距離進行加權,距離遠權重小;全局顯著度為圖像塊矢量進行直方圖計算后的概率分布函數的倒數。最終RGBLAB每個通道會得到局部和全局兩個顯著圖。

③ 顯著度融合:分三步:a. 每一個通道內,局部和全局顯著圖進行歸一化並相乘;b. 每一種顏色空間內,三個顯著圖歸一化並相加;c. 兩個顏色空間的顯著圖歸一化並相加。相乘表示目標必須同時滿足局部和全局的孤立性條件。相加表示各個通道之間是互補,或者競爭關系。並且這個競爭是現在各個顏色空間內部幾個通道之間進行,優勝者再和另一個顏色通道的比較。

④ 結果優化:尺度空間擴展,對圖像進行降采樣,計算每個尺度下的顯著性圖,歸一化后計算這些顯著性圖的均值,再用高斯核進行卷積得到平滑結果;

3) 論文評價:文章采用多通道顯著性融合的方法,並進行了多尺度增強;並應用了字典學習和稀疏編碼,計算量較大(感覺Ali Borji的論文計算量都很大,計算很多特征或很多顯著性圖)。代碼還在調試,論文圖示中結果還可以,邊緣顯著性較突出。

 

2.Ali Borji, DickyN.Sihite, Laurent Itti, Salient Object Detection:A Benchmark, ECCV2012

1) 主要貢獻:一篇關於顯著性模型的綜合論文,總結了自2011年以及之前發表的,能容易得到的(代碼或者Saliency Map),具有很好的准確率的,或者具有很高引用率的模型。

全文共用5個數據庫:MSRAASDSED1SED2SOD(這個五個數據 庫都是包含物體的數據庫,該文的重點也是考察包含物體的數據庫上比較各 個模型)。

具體參見博客:http://www.cnblogs.com/hSheng/archive/2012/12/06/2804385.html

 

3.Xiaoshuai Sun, Hongxun Yao, Rongrong Ji, What Are We Looking For: Towards Statistical Modeling of Saccadic Eye Movements and Visual Saliency, CVPR2012

1) 基本思想:該文的基本假設從視覺注視點的統計分析得出。得出的基本假設為兩點:a:顯著性是非常稀疏的,也就是說大多數地方的顯著值都是0,而只有圖中的很小區域的顯著值有很大的值;b:具有很大的顯著值的區域的周圍區域通常具有豐富結構信息。而超高斯(super-Gaussianity)分布剛好具有這兩點特征。

根據特征融合理論,顯著度是由多個特征通道融合而成的,用於顯著度檢測 的特征應該與顯著度具有相似的統計特征;對於一個視覺統計點,顯著度具 有超高斯性,我們的注視過程就是在尋找場景中的超高斯成分。

 

2) 算法流程:

  

① 超高斯成分分析:給定圖像I,滑動窗掃描將其變換成基於塊的表示X,存儲為矩陣形式,每個列向量表示一個變形后的圖像塊;用PCA去相關,白化后得到特征矩陣Z;在統計學領域,通常利用kurtosis函數來模擬超高斯分布。本文通過定義一個隨機映射矩陣w,將原始特征空間Z通過這個映射矩陣w,然后求其最大值的kurtosis。通過projection pursuit優化算法求這個w,而這個w也將決定哪些值是saliency在得到一系列的映射向量w時,我們需要將他們進行格拉姆-施密特正交化,來確保當前的優化方向與前面的優化方向不一致。同樣通過不停的迭代,能夠得到不同的saliency點。本文能同時計算出saliency map和視線掃描的軌跡。

② WAT目光定位:在得到了投影向量W后,計算這個投影方向上的響應圖RMi:這個響應圖就是原圖中的那個具有最大的單個超高斯分布的區域,這個分布是基於圖像顏色的分布。這樣RM1對應圖中具有最大SGCSuper Gaussian Component)對應的響應圖,表示人眼首次注視的區域,RM2則是對應的次大SGC分布,RM3,...依次推理,直到W收斂。而W收斂意味着下次轉移的位置與上次轉移的位置距離很小。也就是以后的SGC響應太小,不能引起注意力了。 

根據winner-takes-all原則選取響應值最大的位置作為注視點。

③ 顯著圖計算:響應圖的非線性組合,pi為第i個響應圖的直方圖概率。

3) 論文評價:本文的視角比較新穎,從“在圖像中的什么成分能引起注意力”的問題出發。從大量tracker數據中得到假設:超高斯分布的數據更能吸引人們的注意力。因此文章致力於尋找那些具有超高斯分布的位置。實驗結果看起來還可以,噪音抑制能力較強,saliency map有點模糊。

 

4.Stas Goferman,Lihi Zelnik-Manor, Ayellet Ta, Context-Aware Saliency Detection, CVPR2010

1) 基本思路:本文先提出了基於上下文感知的顯著度准則,然后依照這4個准則來實現著度檢測。

2) 准則提出與實現如下:

① Local low-level considerations:具有不同顏色和模式的區域對應顯著性值高,均勻或模糊區域顯著性值低;

② Global considerations:經常出現的特征應當被抑制;

③ Visual organization rules:顯著的像素應當聚集在一起,而不是遍布整幅圖像;

根據前3條准則,先進行單尺度的局部-全局顯著性計算,再進行多尺度增強。

一對圖像塊pipj的顏色距離越大,位置距離越小,則它們的差異值越大。其中顏色距離為兩圖像塊在Lab空間的歐幾里得顏色距離,空間距離為歐幾里得位置距離;若對於任意pj,得到的差異值都很大,則認為pi是顯著的。

為簡化計算,顯著性值的計算中選取前k個最相似的圖像塊進行度量。

計算多個尺度下的顯著性值,取平均值來進一步提高顯著和非顯著區域的對比度。

 

加入上下文修正:設定顯著性閾值從saliency map中提取most attended localized areas,在attended areas 之外的像素顯著性值由與它最近的attended pixel之間的歐幾里得距離加權,得到新的顯著性值。從而提高顯著目標附近的顯著性值,降低背景區域的顯著性值。

              

④ High-level factors:作為后期處理,加入高層先驗知識如人臉檢測;

3) 論文評價:提出顯著性准則作為算法的先驗知識進行顯著度檢測,顯著性思路思路與中央-周圍機制大體相同,融合多尺度修正與上下文感知,導致saliency map中從目標往四周顯著性值漸漸降低,邊緣較模糊。代碼速度與實驗結果還可以,如果將顏色距離與空間距離的組合采用加權方式,會不會對顯著性結果有所改變?

5.Tie Liu,Jian Sun,Nan-Ning Zheng,Learning to Detect A Salient Object,CVPR2007

1) 基本思想:先對顯著目標進行特征提取,得到多尺度對比度,中央-周圍對比度,顏色空間分布3feature maps,再用條件隨機場模型進行組合,得到最終的顯著性檢測結果。

2) 方法流程:

① Multi-scale contrast feature:高斯金字塔多層對比度的線性組合。

② Center-surround histogram:計算像素點x'為中心的顯著矩形區域與其周 圍矩形區域的RGB顏色直方圖之間的x2距離;由於目標尺寸不同,選擇不同縱橫比的矩形區域進行測試,x2距離最大對應得到最獨特矩形區域;像素點x的中央-周圍直方圖特征定義為其所屬所有矩形區域的空間高斯加權x2距離之和。

③ Color spatial-distribution:圖像中的所有顏色用高斯混合模型來表示,每一個像素被分配給具有某概率的顏色成分,計算每一個顏色成分的水平方差和垂直方差,得到該成分的空間方差;顏色空間分布特征定義為中央加權的 空間方差之和。顏色方差越小,該顏色越有可能屬於顯著目標。

④ 條件隨機場結合:能量函數為K個顯著特征和配對特征的線性組合,通 過條件隨機場學習計算權重,得到最優化的線性組合。其中顯著特征為前面 得到的3feature map,用來描述一個像素點是否屬於顯著目標;配對特征 為兩個相鄰像素點的空間關系,是對相鄰像素標記為不同值的懲罰項。

3) 論文評價:采用條件隨機場模型進行特征組合,融合顏色獨立性,顏色空間分布和多尺度分布,考慮了局部信息,全局信息以及尺度信息。效果也不錯。

6.Jian Li, Martin D.Levine, Saliency Detection Based on Frequency and Spatial Domain Analysis,BMVC2011

1) 總體思路:本文結合頻域的全局信息和時域的局部信息進行顯著度檢測。在頻域分析中,根據全局信息對非顯著區域進行建模,頻繁出現的成分認為不顯著,用頻譜平滑進行抑制;在時域分析中,采用中央-周圍機制加強信息量大的區域;最后將兩個通道的輸出結果相結合得到顯著圖。

2) 算法步驟:

① 頻域分析:一幅圖像中只有少部分是顯著的,大部分是背景,即repeated patterns;基於該假設,我們可以尋找非顯著的部分進行抑制,從而突出顯著部分;對原始圖像進行幅度譜分析,發現峰值對應圖像中的repeated patterns,故采用高斯核進行平滑來抑制repeated patterns。為處理不同尺度下的幅度譜,提出頻譜尺度空間(Spectrum Scale-Space),高斯核的尺度因子范圍由圖像的長和寬來決定。再根據顯著圖的熵來確定高斯核的最優尺度,計算每個尺度下的顯著圖的熵,選擇熵最小的顯著圖作為最佳結果。(根據熵定義,等概分布時熵最大,說明畫面均勻;則顯著物體最突出最集中時對應熵最小)

② 時域分析:應用ICAIndependent Component Analysis)選用場景中的獨立成分作為中央-周圍濾波器,根據論文Dynamic visual attention: searching for coding length increments得到192個響應圖,進行加權求和得到一幅顯著圖,權值為原始圖像濾波后的熵取倒數。即熵越小,對應該響應圖顯著部分越集中,對最終顯著圖的貢獻越大。

③ 顯著圖結合:將圖像分解到圖像空間IRGBY,分別計算三個圖像通道的最佳尺度頻域顯著圖,再進行熵值加權求和,得到頻域saliency map Sg;時域saliency map的計算如②所述,得到Sl;最終的saliency map為二者加權組合:

             

3) 論文評價:文章結合時域和頻域兩種信息來進行顯著度檢測,頻域分析應用全局信息突出顯著度,時域分析增強那些具有很高局部對比度的顯著區域,並在多尺度優化時加入熵的應用,值得借鑒。從論文的實驗結果來看,對於目標較小的情況結果也不錯,不過沒有下載到代碼,不知道速度和實際運算結果是否滿意。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM