D2Det是一種two-stage算法,類似於Faster-RCNN,在Faster-RCNN的基礎上進行了一些改進,總體框架如下圖(a)所示:
和Faster-RCNN相比,改進的地方在於:
1. Dense local regression
如上圖(b)所示,Faster-RCNN是對RPN提出的ROI進行卷積操作,對提出的box進行NMS操作,得到最后的結果,而D2Det是對ROI內所有的點提出的box進行平均運算,得到最后的box,而且並不是對所有的點進行平均,而是預測ROI內所有的點的前景/背景分類,只有前景的點才參與平均運算,背景點不參與平均運算;
2. Discriminative ROI pooling
如上圖(c)所示,類似於Deformable ROI Pooling,改進之處在於,先進行一種輕量級的偏移量預測,預測偏移量之后,對於4個采樣點采用加權pooling,即哈達瑪積(Hadamard).