Panoptic Feature Pyramid Networks解讀
導讀:FAIR(Facebook AI Reaearch) 何愷明團隊最新論文提出 “全景 FPN”，聚焦於圖像的全景分割任務，將分別用於語義分割和實例分割的FCN和Mask R-CNN結合起來，設計了 Panoptic FPN。該方法可能成為全景分割研究的強大基線。
全景特征金字塔網絡 Panoptic FPN
Panoptic FPN 是一個簡單的、單網絡的 baseline，它的目標是在實例分割和語義分割以及它們的聯合任務：全景分割上實現最高性能。
設計原則是：從具有FPN Mask R-CNN 開始，進行最小的修改，生成一個語義分割的 dense-pixel 輸出。
模型架構如下：
特征金字塔網絡 (Feature Pyramid Network)：
首先簡要回顧一下 FPN。FPN 采用一個具有多空間分辨率特征的標准網絡 (如 ResNet)，並添加一個具有橫向連接的自上而下的通道，如圖 1a 所示。自上而下的路徑從網絡的最深層開始，並逐步向上采樣，同時添加自底向上路徑的高分辨率特性的轉換版本。FPN 生成一個金字塔，通常具有 1/32 到 1/4 的分辨率，其中每個金字塔級別具有相同的通道維度 (默認是 256)。
實例分割分支：
FPN 的設計，特別是對所有金字塔級別使用相同的通道維數，使得附加基於區域的對象檢測器變得很容易，比如 Faster R-CNN。 為了輸出實例分段，我們使用 Mask R-CNN，它通過添加 FCN 分支來預測每個候選區域的二進制分段 Mask，從而擴展 Faster R-CNN.
Panoptic FPN：
如前所述，我們的方法是使用 FPN 對 Mask R-CNN 進行修改，實現像素級語義分割預測。然而，為了實現准確的預測，該任務所使用的特性應該具備以下特征：
- 1 具有適當的高分辨率，以捕獲精細的結構;
- 2 編碼足夠豐富的語義，以准確地預測類標簽;
- 3 雖然 FPN 是為目標檢測而設計的，但是這些要求——高分辨率、豐富的、多尺度的特征——正好是 FPN 的特征。因此，我們建議在 FPN 上附加一個簡單而快速的語義分割分支。
實驗和結果
我們的目標是證明我們的方法，Panoptic FPN，可以作為一個簡單有效的單網絡 baseline，用於實例分割、語義分割，以及他們的聯合任務全景分割。
因此，我們從測試語義分割方法 (我們將這個單任務變體稱為 Semantic FPN) 開始分析。令人驚訝的是，這個簡單的模型在 COCO 和 Cityscapes 數據集上實現了具有競爭力的語義分割結果。
接下來，我們分析了語義分割分支與 Mask R-CNN 的集成，以及聯合訓練的效果。最后，我們再次在 COCO 和 Cityscapes 數據集上展示了全景分割的結果。定性結果如表 2 和表 6 所示。
多任務訓練
我們的方法在單任務上表現非常好；對於語義分割，上一節的結果證明了這一點；對於實例分割，這是已知的，因為該方法基於 Mask R-CNN。但是，我們是否可以在多任務環境中共同訓練這兩項任務呢?
為了將我們的語義分割分支與 Mask R-CNN 中的實例分割分支結合起來，我們需要確定如何訓練一個單一的、統一的網絡。以往的研究表明，多任務訓練往往具有挑戰性，並可能導致結果精度下降。我們同樣觀察到，對於語義或實例分割，添加輔助任務與單任務基線相比會降低准確性。
表中，ResNet-50-FPN 的結果表明，使用一個簡單的語義分割損失λs，或實例分割損失λi，結果可以改善單任務 baseline 的結果。具體來說，適當地添加一個語義分割分支λs 能改進實例分割，反之亦然。這可以用來改進單任務結果。然而，我們的主要目標是同時解決這兩個任務，這將在下一節討論。
Panoptic FPN
測試 Panoptic FPN 對於全景分割的聯合任務的結果，其中網絡必須聯合並准確的輸出 stuff 和 thing 分割。
主要結果：在表 3a 中，我們比較了使用相同骨架的 Panoptic FPN 分別訓練的兩個網絡。Panoptic FPN 具有相當的性能，但只需要一半的計算量。
我們還通過比較兩個單獨的網絡，分別是 Panoptic R101-FPN 和 R50-FPN×2，來平衡計算預算，見表 3b。使用大致相等的計算預算，Panoptic FPN 明顯優於兩個獨立的網絡。
綜上所述，這些結果表明聯合方法是有益的，我們提出的 Panoptic FPN 方法可以作為聯合任務的可靠 baseline。