ICIP2012 關於Saliency Map的文章


【本文分析僅代表本人個人觀點】

今天在ICIP2012錄取文章列表上簡單的搜索了下,發現關於saliency map的文章比較多。由於我剛結束的碩士學習中研究的就是saliency map。所以,今天就ICIP的文章做個簡單的閱讀。

文章列表:

1A visual Saliency Based Video Hashing Algorithm. (本文沒有鏈接,下不到。)

2An Algorithm for Detecting Multiple Salient Objects in Images Via Adaptive Feature Selection.

3Automatic Saliency Inspired Foreground Object Extraction From Videos.

4Conditional Random Field-Based Mesh Saliency.(本文沒有鏈接,下不到。)

5Extended Non-local means Filter for Surface Saliency Detection.(本文沒有鏈接,下不到。)

6From Rareness to Compactness: Contrast-Aware Image Saliency Detection.

7Object-Aware Saliency Detection for Consumer Images.(本文沒有鏈接,下不到。)

8Raindrop Detection and Removal Using Salient Visual Features.(本文沒有鏈接,下不到。)

9RARE: A New Bottom-up Saliency Model

10Relational Entropy-Based Saliency Detection in Images and Videos.(本文沒有鏈接,下不到。)

11Saliency Detection Based on integration of Boundary and soft-segmentation.

12Saliency Detection Via Statistical Non-Redundancy.

13Saliency Mapping Enhanced by Symmetry From Local Phase.

14Saliency-Based Selection of Sparse Descriptors for Action Recognition.

15Salient View Selection Based on Sparse Representation.

16Visual Saliency Estimation using Support Value Transform.(本文沒有鏈接,下不到。)

 現在能從網上直接下載的,有9篇文章。我將按照順序,逐一分析。

2An Algorithm for Detecting Multiple Salient Objects in Images Via Adaptive Feature Selection.作者來自美國俄克拉荷馬州立大學。

該文利用作者以前的2篇雜志文章中提出的5種特征,進行組合計算saliency map。只是組合方式采用自適應方式。

該文對圖像的處理方式是有50%重疊的patch

五個特征分別是:亮度特征和顏色距離,亮度對比(采用RMS luminance constrast), sharpness 和邊緣強度特征。其中前兩個特征是將圖像轉換到CIELAB空間,計算每個區域與平均值的絕對值,也即方差信息。亮度對比采用比較傳統的算法。而后二者特征則分別是作者以前文章中研究的特征。

該文同樣加入了高斯核來對“center-bias”進行建模。每個特征都進行歸一化處理。

特征組合方式:假設團湊(cluster density)越小,則對saliency的貢獻越大的准則。通過計算團湊,選擇其中的前三個具有最小cluster density的特征進行加權組合,而丟棄剩下的2個。

該文的測試庫是包含單個明顯物體的圖庫。

3Automatic Saliency Inspired Foreground Object Extraction From Videos.

該文主要是結合單幀圖像的saliency map motion map計算視頻的前景物體。

對於單幅圖像的saliency map提取算法,該文擴展ChengMingming CVPR2012年的方法。利用Turbopixel對圖像進行超分割(superpixel方法不同,能帶來稍微不同的結果)。對於圖像的處理單元是superpixel

對於motion saliency,本人不是太關注。感興趣的可以閱讀原文。

6From Rareness to Compactness: Contrast-Aware Image Saliency Detection.

該文圖像處理基本單元是patch5*5*3大小。

絕對對比Absolute Contrast(AC)依然是每個patch與全副圖像的平均patch的絕對差,與文獻2類似。

Bin Contrast(BC)的計算方式很簡單,就是對所有patch進行聚類,聚類方式采用Normalized Cut。每個類別中,個數多的當然是在圖中出現多的,其saliency應該很低,而個數少的類別,則其saliency value比較高。

AcBC是全局對比特征。而在saliency基本理論中,還需要局部對比因素。因此,該文的局部對比采用的依然是領域顏色對比Local Contrast (LC)

本文同樣采用高斯核加權的方式對每個patch進行“center-bias”

接下來就是特征組合問題了。該文對於前面的三個特征,采用相乘的方式,與center-bias再相乘來計算每個特征的MCW值,然后假定MCW值小於某個閾值的patchsaliency spot

 在得到saliency spot之后,該文提出saliency patch2個性質:1,具有光滑顏色的patch應該屬於同一物體,不管他們相距多遠;2,與salient plot相近的點也應該是saliency patch。基於此,本文提出每個patchcolor smoothness (CS)spatial consistency(SC)。然后將他們相乘得到每個patchsaliency value

 該文的測試數據庫同樣是ChengMimgming使用的那個數據庫(含有顯著物體)。

 9RARE: A New Bottom-up Saliency Model

 該文提出了一個層次結構模型。共分為五層模式。層次結構依次是:先對顏色空間進行分解,然后利用Gabor濾波器對分解后的顏色進行濾波,接下來利用Stsu進行Basic Segmentation, 接着進行多尺度之間進行融合,最后將不同的顏色通過進行融合。

 本文提出的算法適合自然圖像的saliency map提取。

 11Saliency Detection Based on integration of Boundary and soft-segmentation.

 該文獲得ICIP2012 Best student award Finalists。作者是大連理工大學的一個組,近年來在CV領域很活躍。http://ice.dlut.edu.cn/lu/publications.html 

該文是繼ICIP2011年文章的基礎上,對於prior map進一步。該方法利用貝葉斯理論,將一個像素的saliency值視為后驗概率,文章的重點是計算其對應其先驗概率。而我們通常的方法都可以看做是先驗概率的模型,然而文章利用角點提取算法先粗略估計salient物體的位置,然后利用saliency的原理進行優化。 

圖像的處理單元是superpixel,因此其結果看起來不錯。 

文章針對的圖像類型是含有顯著物體的圖! 

ICIP2011的方法擴展發表到TIP上,具體可以參考http://ice.dlut.edu.cn/lu/Paper/T-IP/tip11_saliency.pdf 

該系列文章看起來非常不錯,好好研究下! 

【個人思考】主要是對於一些圖像的基本處理方法進行序列組合,而這個方法通常能收到很大的歡迎。我將在后面的文章中總結!

 12Saliency Detection Via Statistical Non-Redundancy.

 文章利用統計學原理,認為圖像中的某個點是該領域內的點和高斯噪聲點的實現。然后利用這個原理,計算圖中任意兩個點之際非冗余統計量。

 最后圖中某點的saliency value是圖中的該點與圖中其他所有點的非冗余統計量的期望。

 該方法適合自然圖像類的saliency map提取。

 13Saliency Mapping Enhanced by Symmetry From Local Phase.

 該文的作者之一是大名鼎鼎,saliency的鼻祖Itti。所以文章的方法和Itti的思路非常的類似,采用心理學和神經學的一些基本理論,用圖像的顏色和灰度特征,利用Gabor濾波器和DoG方式模擬視覺神經的機制。

 14Saliency-Based Selection of Sparse Descriptors for Action Recognition.

 該文也是基於統計學的方法,利用saliency map分析運動。作者系哈佛大學。而哈佛大學關於注意力的研究一直是沿着統計分析和心理學思路,典型的Gist特征。

15Salient View Selection Based on Sparse Representation.

該文利用sparse coding計算3D視覺的saliency,與傳統的目的不同。

【本文完】


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM