CIAN: Cross-Image Affinity Net for Weakly Supervised Semantic Segmentation論文閱讀


論文簡介:

以image-level作為標簽的弱監督語義分割往往面臨目標區域估計不完整的問題。為了緩解這個問題,本文提出了一種對跨圖像間關系進行建模的方法。

該方法在同類別不同圖像之間建立像素級的關系矩陣,並據此從不同的圖像間取得互相補充的信息,用以增廣原特征並獲取更加完整和魯棒的目標估計

 

 圖一:可以根據圖片像素之間feature的相似度做一個Affinity map(c),然后從Affinity map中取得相關有用的信息加到原圖上,得到一個更加完整的原圖估計

 

 

 Refined seeds最后作為一個新的偽類標簽來來訓練網絡:一個比較完整的估計反過來訓練這個網絡(loss左邊的網絡),通過迭代的過程使得網絡最終learn一個完整的目標

Train Loss

 

y^i是從refined seeds中獲得的online pesudo-label。Lq是圖像q中的image-level標簽(論文中是person和cow)。(7)的含義是如果類c的最大概率為l類(l可以是person or cow),並且l屬於Lq,則y^i,l=1。反之為0

 

 

(8)其實是Refined seeds最后作為一個新的偽類標簽來來訓練網絡。

 

使用self-affinity的原因:因為在測試階段我們只測試單張圖片,reference image只在訓練階段使用。但是測試的時候仍然要使用CIAN。這時候就用Xq=Xr

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM