[CVPR2019]Query-guided End-to-End Person Search


這篇文章在OIM的基礎上做了較大改進,在CUHK-SYSU和PRW兩個數據集上取得了不錯的進展。

基本流程如Figure 1的右邊,用孿生的faster rcnn網絡做detection,然后用re-ID網絡做識別,最后用QSimNet求query-gallery圖像對的相似性。

整個網絡的框架如Figure 2。由幾個大的部分組成:①上下兩條線SiameseNet,基本上是OIM的identity net,這部分將ResNet分成了conv1-conv4_3和conv4_4-conv5兩段;②ResNet第一段加入QSSE-Net用來做特征提取,下線進一步加入QRPN以提取proposal,使得過程變成query-guided ③ResNet第二段用作identity分類,上下線的輸出特征最后送入QSimNet計算相似性。

QSSE-Net

Figure 2中我標記的QSSE-Net的作用是提取特征。注意,這個孿生網絡的輸入是整個query image和整個gallery image圖像對。該部分如Figure 3所示

這部分利用了SEBlock,在18年CVPR的person search文章里也用了這種結構。孿生網絡共享參數,基本網絡結構是ResNet。值得一提的是,在SEBlock第一階段,經過global average pooling之后,query和gallery的feature連接在了一起,作者認為通過這種方式,QSSE-Net re-calibrates channel weights to take into account intra-network channel dependencies and inter-network channel similarities。輸出的就是兩張圖像的feature map。

Query-guided RPN (QRPN)

該部分是為了對Gallery image檢測得到proposal。注意輸入不再是整張圖像的feature map,而是crop的之后對應的圖像塊的feature map。結構如下

這部分顯然是受SEBlock的啟發,Query的feature經過兩個FC實現squeeze和excitation,但是輸出是和gallery的feature相乘(SEBlock是乘回query原輸入)。輸出即得到proposal.

Query-guided Similarity Net (QSimNet)

Loss

顯然網絡結構很復雜,事實上也是有7個子loss

實驗結果

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM