[論文筆記]Objects as Points


 

Title:Objects as Points

Authors: Xingyi Zhou (UT Austin), Dequan Wang (UC Berkeley), Philipp Kr¨ahenb¨uhl (UT Austin)

Paper    code-pytorch


 

  一篇非常好的目標檢測anchor-free的文章,只利用一個點(BoundingBox的中心點)來預測object的位置和大小、尺寸。並且沒有NMS后處理。在速度和精度的trade-off上表現優異。

基本思想

  • 輸入圖像$I:W \times H \times 3$
  • 目標:產生一個keypoint heatmap $\hat{Y} \in {[0,1]}^{\frac{W}{R} \times \frac{H}{R} \times C}$;$R$是步長,所以輸出尺寸變小;$C$是keypoint的類型。預測值$\hat{Y}_{x,y,c}=1$代表一個檢測的keypoint,$\hat{Y}_{x,y,c}=0$表示背景。

  • 訓練的真值:對於類別為$c$的ground truth keypoint $p\in\mathcal{R}^2$,取整操作計算對應的低分辨率$\tilde{p}=\left \lfloor \frac{p}{R} \right \rfloor$(對應的小尺寸位置,怎么算的?一個RXR的塊中有一個點是center),然后利用高斯核$Y_{xyc}=exp(-\frac{(x-\tilde{p}_x)^2+(y-\tilde{p}_y)}{2 \sigma^{2}_{p}})$形成一個heatmap  $Y \in {[0,1]}^{\frac{W}{R} \times \frac{H}{R} \times C}$

  • 損失函數(之一)是penalty-reduced pixelwise logistic regression with focal loss

  • 為了減少輸出時步長帶來的離散化誤差,額外為每個center point預測一個local offset $\hat{O} \in \mathcal{R}^{\frac{W}{R} \times \frac{H}{R} \times 2}$.所有的類別c都享有同樣的offset prediction。訓練公式是

  • 尺寸回歸:是object $k$ with class $c_k$的外接矩形,其中心顯然是,用$\hat{Y}$來預測中心點。對應的bounding box 尺寸是,為了減少計算負擔,用一個單一的尺寸預測應用於所有的object categories。有:

  • 總的Loss function

  • interference階段:分離出每個類別的熱力圖中的峰值,檢測所有響應點(像素)是否大於或等於8鄰域點,保留前100個。\hat{P}_c是c類對應的n個檢測的中心點的集合。每個檢測點有一對坐標$(x_i,y_i)$,檢測框可以計算得到:

 

  •  四種主網絡分別是ResNet-18, ResNet-101, DLA-34, and Hourglass-104

實驗結果

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM