論文筆記(9):Multiscale Combinatorial Grouping


本文大致脈絡:

對每張圖片,作者首先使用 P. Doll´ar and C. Zitnick. Structured forests for fast edge detection. ICCV , 2013. 4, 5 來產生邊緣圖(edge probability map),請注意probability,因為下面connected regions 之間的 similarity 就是通過 這個probability 來體現的, 這里的probability 指的是該點的像素屬於邊緣的概率。對邊緣圖進行watershed得到輪廓圖,通過對輪廓圖進行一系列操作得到UCM圖,如下圖:

在UCM圖里,黑色區域部分可以認為是connected regions,該圖通過白色部分分離開來,白色部分的每個像素都是一個實值(0-1),圖中每條邊的一小段的像素值都是相同的,該值表示該邊所連接區域的不相似度,值越小,這兩個區域越有可能合並稱為一個區域。利用UCM圖,獲取圖像的superpixels,也就是一個個connected regions ,任意兩個相鄰的 regions 之間都有一個不相似度值。

接下來就是要對這所有的N個regions hierarchically 合並了, 方法就是將N個葉子節點兩兩合並,最終得到 N-1個非葉子節點,這樣就構造了一顆完全二叉樹,二叉樹的根部是整個圖像區域,葉子節點就是一開始得到的 superpixels。這樣一張UCM圖可以得到一個 hierarchical segmentation。這里的初始的superpixels和組合后的非葉子節點都可以看做是一個proposals,這樣一共是2N-1個proposals。

得到該樹后,作者從二叉樹離獲取 4個list 的proposals。分別是 singleton, pairs, triplets ,fours。在獲取的時候使用了Pareto optimization,看着挺高深,其實就是 4個整數值,我們以這樣的一個組合為例(700,2000,3000,2000)。700對應於 singleton,表示從 二叉樹中從頂向下取前700個proposals。對於二叉樹的非根節點來說,每個節點都有父母,每個父母都有自己的兄弟,那么每個節點都有一個叔叔,pairs就表示叔叔與侄子的組合,比如說4個節點 1、2、3、4,1和2 組成了5,3和4組成了6,那么5就是1和2 的父節點,6是3和4的父節點,5是3和4的叔叔,那么在pairs里5、3可以是一種組合,一種新的proposals,2000表示從這所有的叔叔-侄子組合中,自頂向下去2000個這樣的組着,那么triplets中的3000就表示 侄子-叔叔-叔叔的叔叔的3000中組合,同理fours. 這樣對每張UCM圖,會到一個一個bottom-up組合,然后從該組合中可以得到4個list的proposals。

在作者的代碼中實際上是對原來的圖片進行scale (2,1,0.5),這樣一共可以得到3張UCM圖,然后將三張UCM圖融合,這樣一共有 四種UCM圖,每種UCM都可以得到4個list的proposals,一共有16個lists的proposals,作者收集zhexieproposals,然后對他們進行 overlap>0.95的篩選。然后再進行hole-filling,因為在之前的組合中可能某種proposals會有明顯的hole inside。

最后,在得到一個完整的proposals set后,作者提取每個proposals 的 面積、周長、邊界強度等2D基本特征,用這些特征組成向量來表示該proposal,然后訓練隨機森林回歸器來對這些proposals排名。

作者提供了兩個版本的UCM,Fast UCM 和Accurate UCM正如圖所示, Fast UCM 最終會得到4個list的proposals, Accurate 會得到16個list的 proposals。

最后附上MCG簡易流程圖:

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM