PointRCNN：3D Object Proposal Generation and Detection from Point Cloud
PointRCNN是CVPR2019錄用的一篇三維目標檢測論文。
原始點雲的3D目標檢測，只用點雲作為輸入。提出一種新的3D物體檢測器，用於從原始點雲中檢測3D物體。所提出的Stage-1網絡以自下而上的方式直接從點雲生成3D方案，比以前的方案生成方法具有更高的召回率。Stage-2網絡將語義特征和局部空間特征結合起來，在規范坐標中對提案進行了優化。此外，新提出的基於bin的損失證明了它在三維邊界框回歸中的有效性。
兩階段：
第一階段：自下而上的3D proposal產生。
Stage-1階段子網絡不是從RGB圖像或者將點雲投影到鳥類視圖或者體素中，而是通過將整個場景的點雲分割為前景點和背景點，以自下而上的方式直接從點雲生成少量高質量的3D提案。
第二階段：在規范坐標中修改proposal。獲得最終的檢測結果。
Stage-2階段子網絡將每個提案的池化的點轉換為規范坐標，更好地學習局部空間特征，這個過程與Stage-1中學習每個點的全局語義特征相結合，用於Box優化和置信度預測。
對KITTI數據集的3D檢測基准的廣泛實驗表明，該架構優於帶有顯著邊緣的最先進方法。
和2D數據的比較：
和二維圖像的目標檢測不同，自動駕駛場景中的三維物體被標注的3D邊界框很好地分隔開。也即，用於3D物體檢測的數據直接提供用於3D目標分割的語義掩模。這是3D檢測和2D檢測訓練數據之間的差異。在2D目標檢測中，邊界框只能為語義分割提供弱監督。基於這一觀察，作者提出了兩階段的3D目標檢測框架—PointRCNN，該框架直接運行在3D點雲上，具有高魯棒性和准確的3D檢測性能。
PointRCNN包括兩個階段，第一階段旨在以自下而上的方案生成3D邊界框提案，基於3D邊界框生成真實分割掩模，分割前景點並同時從分割點生成少量邊界框提案。這樣的策略避免了在整個3D空間中使用大量3D錨框。第二階段進行規范的3D box優化。在生成3D提案之后，采用點雲區域池化操作來“pool”來自Stage-1學到的點表示。與直接估計全局box坐標的方法不同，“pooled”3D點被轉換為規范坐標並與“pooled”的點特征以及Stage-1的分割掩模組合完成坐標優化。該策略充分利用了Stage-1的分割和提案子網絡提供的信息。
還提出基於全區域的3D box回歸損失以用於提案生成和優化，收斂更快，有更高的召回率。
一、 通過點雲分割自下而上生成3D提案
提出一種的基於全場景點雲分割的精確、魯棒的三維提案生成算法作為第一階段子網絡。 3D場景中的目標是自然分離的，彼此不重疊。所有三維目標的分割掩模都可以通過3D邊界框注釋直接獲得，即3D框內的3D點被視為前景點。因此，我們建議以自下而上的方式生成3D提案。具體來說，我們逐點學習點的特征、分割原始點雲，同時從分割的前景點生成3D提案。基於這種自下而上的策略，避免在3D空間中使用大量預定義的3D框，並且顯著限制了生成的3D提案的搜索空間。並且，作者的3D box提案方法比基於3D錨點的提案生成方法有更高的召回率。
點雲的表示使用帶有msg（multi-scale grouping）的pointnet++作為backbone，也可以使用VoxelNet等。
前景點分割：作者的三維提案生成方法直接從前景點生成3D box 提案，同時完成前景分割和三維預測框生成。經backbone處理后的每個點的特征，分別經過前景掩模預測分支和三維提案框回歸分支完成相應任務。點分割的真實掩模由3D邊界框提供。並且使用focal loss來解決室外場景中，由前景點過少帶來的類別不平衡問題。
基於bin的三維邊界框生成：邊界回歸分支使用前景點回歸生成三維提案（要注意，背景點也參與了提案的生成）。為了約束三維提案，作者提出了基於bin的回歸損失估計目標的三維邊界框。預測3D邊界框需要預測中心位置、目標方向與目標尺寸。
二、點雲區域池化
在獲得三維邊界框方案后，根據之前生成的框提案來優化框的位置和方向。根據每個3D提案的位置，對每個點及其特征進行池化。稍稍放大后的邊界框內的點及其特征將被保留。然后使用分割掩模區分稍微放大框內的前景、背景點。沒有內部點的提案將會被消除。
三、規范3D邊界框優化
如圖2（b）所示，“pooled”點及其相關特征都被送入Stage-2子網絡，以優化3D box的位置和前景目標的可信度。經過圖4所示的規范坐標轉換，更好地學習每個提案的局部空間特征。
之后，優化子網絡將轉換后的局部空間點和Stage-1階段的全局語義特征結合優化框和置信度。在這里，作者在強度和掩模的基礎上，增加了深度信息，經全連接層后，“catenate”全局特征送入網絡。同樣采用類似基於bin回歸的損失用於提案優化。Stage-2的loss整體為：
