CVPR2020 論文解讀：具有注意RPN和多關系檢測器的少點目標檢測
Few-Shot Object Detection with Attention-RPN and Multi-Relation Detector
具有注意RPN和多關系檢測器的少點目標檢測
目標檢測的慣用方法需要大量的訓練數據，准備這樣高質量的訓練數據很費精力的。本文中，提出一種新的少點目標檢測網絡，只用幾個帶注釋的示例的看不見的類來檢測目標。集中到新方法的核心是，注意力RPN，多相關檢測器，以及對比訓練策略，探索少點支持集和查詢集之間的相似性，檢測新目標同時抑制背景中的錯誤檢測。
訓練網絡，提供新數據集，它包含1000類不同的目標，附加高質量的注釋信息。眾所周知，這是為少點目標檢測最好的特定數據集之一。當少點網絡訓練后，不需要進一步訓練和優化，就可以檢測看不接見的類。這種方法是通用的，具有廣泛的應用潛力。提供少點數據集中新的不同數據集上藝術狀態性能。
解決什么問題
少量support的情況，檢測全部的屬於target目標范疇的前景
本文創新點\貢獻
1. 沒有反復訓練和fine-tune的情況檢測新物體，探索物體對的聯系。可以在線檢測，在proposal前面使用attention模塊很有用，聯系模塊能過濾
2. 大量的數據集，1000個類，每個類只有少量樣本，實驗表明用這個數據集能達到的效果更好
本文IDEA來源
問題在於新的類別不錯的框的分數低
方法
方法概述
在RPN前加一個attention，在檢測器之前加了3個attention，然后還是用到了負support訓練。
問題定義
給定帶有target物體特寫的support圖片
，包含support中類別物體的query圖片
，support中包含K類物體，每類N個樣本，所以就是
檢測。
Deep Attentioned Few-Shot Detection
權重共享的框架由多個分支組成，分別為support和query服務，support根據輸入有多個分支，圖片只顯示了一個。
query分支是一個FasterRCNN網絡，包含RPN和檢測器。
利用這個框架來學習support和query之間的匹配關系，更好的學習同類之間的一般知識。
以這個框架為基礎，提出了attention RPN，還有多聯系檢測。
Attention-Based Region Proposal Network
沒有support，RPN就沒有目標，后面的子分類就搞不清楚這么多的不相關目標。
使用support信息就能過濾掉大部分的背景框，還有那些不是匹配的類別
通過在RPN中用attention機制來引入support信息，來對其他類的proposal進行壓制
通過逐深度的方法計算二者特征值的相似性，相似性用來生成proposal
support的特征是
，query的特征是
，相似度定義如下：
其中G是attention特征圖，X作為一個卷積核在query的特征圖上滑動，以一種逐深度(取平均)的方式。
使用的是RPN的底部特征，ResNet50的res4-6，發現設置S=1表現很好，這說明全局特征能提供一個好的先驗
G用3×3的卷積處理，然后接分類和回歸層。
Multi-Relation Detector
還是測量相似性的，在query和support的bbox之間，包含三個attention：
global-relation head：學習全局匹配的深度嵌入
local-correlation head：學習support和query的proposal之間的逐像素和逐深度對應
patch-relation head：學習匹配的深度非線性度量
三個head的分析：
第三個patch 並不理想，這個頭的模型更復雜，但作者也覺得復雜的聯系是難學習的
但是三個一起用效果最好，說明之間還是能相互補充的
Two-way Contrastive Training Strategy
不僅匹配而且區分
訓練組
，其中
，是跟query不同的類，訓練的時候只有c被標記為前景
背景的proposal很多，所以平衡在query和support中三個不同匹配的比例，保持
前景proposal 和 負
[ 圖中(2) ]：
背景proposal 和 正
[ 圖中(1) ]：
proposal(前或后) 和 負
= 1：2：1
根據匹配的分數選全部的
，選前
，前
根據第一隊確定總個數，后面按分數來，什么樣的分數？
錯誤的根據最不匹配分數？
為什么沒有proposal(前或后)和positive support pairs
的？
因為這里是算不同嗎？
對於每個采樣的proposa計算推薦：
和Faster RCNN一樣，
用的二值化交叉熵
RPN的選擇
和0.5IoU的取前100的RPN對比。表里也顯示RPN attention確實有效