Rethinking場景分析中的空間池化 | Strip Pooling(CVPR2020,何愷明)


作者:Tom Hardy
Date:2020-04-04
原文鏈接:https://arxiv.org/abs/2003.13328v1
代碼鏈接:https://github.com/Andrew-Qibin/SPNet
主要思想和Contributions
Spatial pooling在捕獲像素級預測任務(如場景解析)的long-range contextual信息方面已被證明是非常有效的。本文在傳統的N×N型Spatial pooling的基礎上,提出了一種考慮狹長核(1×N或N×1)的strip pooling策略,對Spatial pooling的形成進行了重新思考。基於strip pooling,進一步研究了Spatial pooling體系結構設計,本文的主要貢獻:
1)引入了一個新的strip pooling模塊,使backbone網絡能夠有效地模擬long-range依賴關系;
2)提出了一種以多種Spatial pooling為核心的新型模塊MPM,並構建了SPNet;
3)系統地比較了所提出的strip pooling和傳統Spatial pooling技術的性能;
這兩種新的基於pooling的模塊都是輕量級的,可以作為現有場景解析網絡中的一個有效的即插即用模塊。在ADE20K和CityScapes上進行的大量實驗表明,本文的方法達到了SOTA。
網絡結構
1、Strip pooling(SPM)
1. 如下圖所示,使用Hx1和1xW尺寸的條狀池化核進行操作,對池化核內的元素值求平均,並以該值作為池化輸出值。
2. Hx1和1xW池化核處理后,使用1D Conv對兩個輸出feature map分別沿着左右和上下進行擴容,如下圖所示,擴容后兩個feature map尺寸相同,進行fusion(element-wise上的add)。
3. 采用element-wise multiplication的方式對原始數據和sigmoid處理后的結果進行處理,至此,strip pooling完成,輸出結果。
2、MPM(Mixed Pooling Module)
這是本文獨立於SPM之外的另外一個模塊,具體來說,在每個子模塊之前,首先是1×1卷積層用於channel縮減,如下圖所示,兩個子模塊的輸出串聯在一起,然后送入另一個1×1卷積層進行channel擴展。
3、SPNet
論文基於SPM和MPM模塊搭建了一個網絡:SPNet,以殘差網絡作為backbone,詳細結構請參考原文。
實驗結果
論文在ADE20K、Cityscapes和Pascal Context數據集上進行了實驗。
 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM