圖像實例分割：CenterMask
CenterMask: single shot instance segmentation with point representation
論文鏈家：
https://arxiv.org/abs/2004.04446
摘要
本文提出了一種簡單、快速、准確的單鏡頭實例分割方法。單階段實例分割面臨兩個主要挑戰：對象實例區分和像素級特征對齊。相應地，本文將實例分割分解為兩個子任務：局部形狀預測（即使在重疊的情況下也可以分離實例）和全局顯著性生成（以像素到像素的方式分割整個圖像）。兩個分支的輸出被組合起來形成最終的實例掩碼。為了實現這一點，從物體中心點的表示中提取局部形狀信息。完全從頭開始訓練，沒有任何鈴聲和口哨聲，提出的中心掩碼達到34.5掩碼AP，速度為12.3 fps，使用單一模型，在具有挑戰性的COCO數據集上進行單尺度訓練/測試。除速度慢5倍的TensorMask方法外，該方法的精度高於其他所有一級實例分割方法，說明了中心模板的有效性。此外，該方法還可以方便地嵌入到FCOS等單級目標檢測器中，具有良好的性能，體現了中心掩模的通用性。
1. Introduction
為了解決這些問題，本文建議打破mask表示為兩個平行組件：
（1） 一種局部形狀表示法，它為每個局部區域預測一個粗略的遮罩，可以自動分離不同的實例。
（2） 一種全局顯著性地圖，它可以分割整個圖像，提供顯著性細節，並實現像素級對齊。為了實現這一點，從目標中心的點表示中提取局部形狀信息。建模對象作為其中心點是由一級中心網[30]檢測器驅動的，因此本文稱之為方法中心掩碼。建議的中心遮罩的圖示如圖1所示。給定輸入圖像，根據關鍵點估計管道預測目標中心點位置。然后提取中心點的特征表示，形成局部形狀，局部形狀由一個粗掩模表示，該粗掩模將物體與近距離物體分開。同時，完全卷積的主干線生成了整個圖像的全局顯著性圖，在像素級將前景與背景分離。最后，將粗糙但感知實例的局部形狀和精確但不感知實例的全局顯著性映射組合起來，形成最終的實例掩碼。
為了驗證中心掩模的魯棒性並分析其核心因素的影響，進行了大量的實驗，比較了多個基本實例的融合性能。可視化結果表明，僅使用局部形狀分支的中心mask可以很好地分離對象，而僅使用全局自性分支的模型在對象不重疊的情況下表現良好。在復雜和對象重疊的情況下，這兩個分支的結合可以區分實例，同時實現像素級的分割。COCO[20]測試集圖像的中心掩碼結果如圖2所示。
總之，本文的主要貢獻如下：
•提出了一種無錨定盒的一階段實例分割方法，該方法簡單、快速、快速 准確。完全從零開始訓練，提出的中心掩模達到34.5掩模AP，速度為12.3 fps對具有挑戰性的可可，顯示出良好的速度精度權衡。此外，該方法還可以方便地嵌入到FCOS[27]等單級目標檢測器中，具有良好的性能，體現了中心掩模的推廣性。
•提出對象遮罩的局部形狀表示，以區分無錨箱條件下的實例。局部形狀分支使用對象中心點的表示，即使在重疊的情況下，也能有效地預測粗糙遮罩和分離對象。
•提出了全局顯著性映射，實現自然的像素級特征對齊。與以前的特征對齊操作（例如分割）不同，該模塊更簡單、更快、更精確。全局顯著性生成的行為類似於語義分割[23]，希望這項工作能夠激勵未來的一階段全景分割[16]。
2. Related Work
兩段式分割：兩段式分割方法，先進行包圍盒檢測，再對包圍盒區域的像素進行分類，得到最終的掩模。
一階段實例分割：目前最先進的一階段實例分割方法大致可以分為兩類：基於全局區域的方法和基於局部區域的方法。基於全局區域的方法首先基於整個圖像生成中間和共享的特征地圖，然后將提取的特征集合起來形成每個實例的最終遮罩。
3. CenterMask
本文的目標是建立一種單階段的實例分割方法。一個階段意味着沒有預先定義的興趣區域（roi）用於掩模預測，這需要同時定位、分類和分割對象。為了實現這一點，本文將實例分割分解為兩個簡單且並行的子任務，並將它們的結果集合起來形成最終的掩碼。第一個分支從每個對象的中心點表示預測粗糙形狀，這可以約束每個對象的局部區域並自然區分實例。
第二個分支預測整個圖像的顯著性圖，實現精確分割並保留精確的空間位置。最后，通過將兩個分支的輸出相乘來構造每個實例的掩碼。
4. Experiments
在MS-COCO實例分割基准上對所提出的中心掩碼的性能進行了評估[20]。該模型在115k個trainval 35k圖像上進行訓練，並在5k個minival圖像上進行測試。最終結果在20k測試設備上進行評估。
5. Conclusion
本文提出了一種簡單、快速、准確的單鏡頭錨箱自由實例分割方法。將掩模預測分解為兩個關鍵模塊：有效分離不同實例的局部形狀分支和明智地實現精確分割像素的全局顯著分支。大量的融合實驗和可視化圖像證明了該中心掩模的有效性。本文希望本文的工作能夠幫助簡化更多的實例級識別任務。