邊框回歸(Bounding Box Regression)詳解

原文地址：http://blog.csdn.net/zijin0802034/article/details/77685438

Bounding-Box regression

最近一直看檢測有關的Paper, 從rcnn， fast rcnn, faster rcnn, yolo, r-fcn, ssd，到今年cvpr最新的yolo9000。這些paper中損失函數都包含了邊框回歸，除了rcnn詳細介紹了，其他的paper都是一筆帶過，或者直接引用rcnn就把損失函數寫出來了。前三條網上解釋比較多，后面的兩條我看了很多paper，才得出這些結論。

• 為什么要邊框回歸？
• 什么是邊框回歸？
• 邊框回歸怎么做的？
• 邊框回歸為什么寬高，坐標會設計這種形式？
• 為什么邊框回歸只能微調，在離Ground Truth近的時候才能生效？

為什么要邊框回歸？

這里引用王斌師兄的理解，如下圖所示：

 

對於上圖，綠色的框表示Ground Truth, 紅色的框為Selective Search提取的Region Proposal。那么即便紅色的框被分類器識別為飛機，但是由於紅色的框定位不准(IoU<0.5)， 那么這張圖相當於沒有正確的檢測出飛機。 如果我們能對紅色的框進行微調， 使得經過微調后的窗口跟Ground Truth 更接近， 這樣豈不是定位會更准確。 確實，Bounding-box regression 就是用來微調這個窗口的。

邊框回歸是什么？

繼續借用師兄的理解：對於窗口一般使用四維向量(x,y,w,h) 來表示， 分別表示窗口的中心點坐標和寬高。 對於圖 2, 紅色的框 P 代表原始的Proposal, 綠色的框 G 代表目標的 Ground Truth， 我們的目標是尋找一種關系使得輸入原始的窗口 P 經過映射得到一個跟真實窗口 G 更接近的回歸窗口G^ 。

 

 

邊框回歸的目的既是：給定(Px,Py,Pw,Ph) 尋找一種映射f ， 使得f(Px,Py,Pw,Ph)=(Gx^,Gy^,Gw^,Gh^) 並且(Gx^,Gy^,Gw^,Gh^)≈(Gx,Gy,Gw,Gh)

邊框回歸怎么做的？

那么經過何種變換才能從圖 2 中的窗口 P 變為窗口G^ 呢？ 比較簡單的思路就是: 平移+尺度放縮

1. 先做平移(Δx,Δy) ， Δx=Pwdx(P),Δy=Phdy(P) 這是R-CNN論文的：
   G^x=Pwdx(P)+Px,(1)
   G^y=Phdy(P)+Py,(2)
2. 然后再做尺度縮放(Sw,Sh) , Sw=exp(dw(P)),Sh=exp(dh(P)) , 對應論文中：
   G^w=Pwexp(dw(P)),(3)
   G^h=Phexp(dh(P)),(4)

觀察(1)-(4)我們發現， 邊框回歸學習就是dx(P),dy(P),dw(P),dh(P) 這四個變換。下一步就是設計算法那得到這四個映射。

線性回歸就是給定輸入的特征向量 X, 學習一組參數 W, 使得經過線性回歸后的值跟真實值 Y(Ground Truth)非常接近. 即Y≈WX 。 那么 Bounding-box 中我們的輸入以及輸出分別是什么呢？

Input:

RegionProposal→P=(Px,Py,Pw,Ph) ，這個是什么？ 輸入就是這四個數值嗎？其實真正的輸入是這個窗口對應的 CNN 特征，也就是 R-CNN 中的 Pool5 feature（特征向量）。 (注：訓練階段輸入還包括 Ground Truth， 也就是下邊提到的t∗=(tx,ty,tw,th) )

Output:

需要進行的平移變換和尺度縮放 dx(P),dy(P),dw(P),dh(P) ， 或者說是Δx,Δy,Sw,Sh 。 我們的最終輸出不應該是 Ground Truth 嗎？ 是的， 但是有了這四個變換我們就可以直接得到 Ground Truth， 這里還有個問題， 根據(1)~(4)我們可以知道， P 經過 dx(P),dy(P),dw(P),dh(P) 得到的並不是真實值 G， 而是預測值G^ 。 的確， 這四個值應該是經過 Ground Truth 和 Proposal 計算得到的真正需要的平移量(tx,ty) 和尺度縮放(tw,th) 。
這也就是 R-CNN 中的(6)~(9)：

tx=(Gx−Px)/Pw,(6)

ty=(Gy−Py)/Ph,(7)

tw=log(Gw/Pw),(8)

th=log(Gh/Ph),(9)

 

那么目標函數可以表示為 d∗(P)=wT∗Φ5(P) ， Φ5(P) 是輸入 Proposal 的特征向量，w∗ 是要學習的參數（*表示 x,y,w,h， 也就是每一個變換對應一個目標函數） , d∗(P) 是得到的預測值。 我們要讓預測值跟真實值t∗=(tx,ty,tw,th) 差距最小， 得到損失函數為：

 

Loss=∑iN(ti∗−w^T∗ϕ5(Pi))2

 

函數優化目標為：

 

W∗=argminw∗∑iN(ti∗−w^T∗ϕ5(Pi))2+λ||w^∗||2

 

利用梯度下降法或者最小二乘法就可以得到 w∗ 。

為什么寬高尺度會設計這種形式？

這邊我重點解釋一下為什么設計的tx,ty 為什么除以寬高，為什么tw,th 會有log形式！！！

首先CNN具有尺度不變性， 以圖3為例：

 

x,y 坐標除以寬高

上圖的兩個人具有不同的尺度，因為他都是人，我們得到的特征相同。假設我們得到的特征為ϕ1,ϕ2 ，那么一個完好的特征應該具備ϕ1=ϕ 。ok，如果我們直接學習坐標差值，以x坐標為例，xi,pi 分別代表第i個框的x坐標，學習到的映射為f , f(ϕ1)=x1−p1 ，同理f(ϕ2)=x2−p2 。從上圖顯而易見，x1−p1≠x2−p1 。也就是說同一個x對應多個y，這明顯不滿足函數的定義。邊框回歸學習的是回歸函數，然而你的目標卻不滿足函數定義，當然學習不到什么。

寬高坐標Log形式

我們想要得到一個放縮的尺度，也就是說這里限制尺度必須大於0。我們學習的tw,th 怎么保證滿足大於0呢？直觀的想法就是EXP函數，如公式(3), (4)所示，那么反過來推導就是Log函數的來源了。

為什么IoU較大，認為是線性變換？

當輸入的 Proposal 與 Ground Truth 相差較小時(RCNN 設置的是 IoU>0.6)， 可以認為這種變換是一種線性變換， 那么我們就可以用線性回歸來建模對窗口進行微調， 否則會導致訓練的回歸模型不 work（當 Proposal跟 GT 離得較遠，就是復雜的非線性問題了，此時用線性回歸建模顯然不合理）。這里我來解釋：

Log函數明顯不滿足線性函數，但是為什么當Proposal 和Ground Truth相差較小的時候，就可以認為是一種線性變換呢？大家還記得這個公式不？參看高數1。

 

limx=0log(1+x)=x

 

現在回過來看公式(8):

 

tw=log(Gw/Pw)=log(Gw+Pw−PwPw)=log(1+Gw−PwPw)

 

當且僅當Gw−Pw =0的時候，才會是線性函數，也就是寬度和高度必須近似相等。

對於IoU大於指定值這塊，我並不認同作者的說法。我個人理解，只保證Region Proposal和Ground Truth的寬高相差不多就能滿足回歸條件。x,y位置到沒有太多限制，這點我們從YOLOv2可以看出，原始的邊框回歸其實x，y的位置相對來說對很大的。這也是YOLOv2的改進地方。詳情請參考我的博客YOLOv2。

總結

里面很多都是參考師兄在caffe社區的回答，本來不想重復打字的，但是美觀的強迫症，讓我手動把latex公式巴拉巴拉敲完，當然也為了讓大家看起來順眼。后面還有一些公式那塊資料很少，是我在閱讀paper+個人總結，不對的地方還請大家留言多多指正。