[實例分割/多邊形]PolyTransform: Deep Polygon Transformer for Instance Segmentation

前言

0. 核心

• 問題
  當前實例分割模型和基於多邊形的交互式對象標注各有好處。
• 方案
  使用實例分割生成Mask，作為多邊形初始化，再通過形變網絡微調控制點。
• 結果
  效果更好。

1. state-of-the-are performance:最新的性能
   achieve state-of-the-art performance on multiple benchmarks(COCO,Cityscapes)

Abstract

1.提出了一種新的實例分割算法PolyTransform，該算法結合了當前分割方法和現代基於多邊形的方法的優點，可以產生精確的、幾何保持的掩模。
2.首先利用分割網絡來生成實例掩碼。然后，將遮罩轉換為一組多邊形，然后將這些多邊形輸入變形網絡，變形網絡將這些多邊形轉換為更適合物體邊界的形狀。

Introduction

1. 實例分割
   實例分割就是標記場景中所有可計數的對象，然后提供對象的掩膜(mask)。
   實例分割可以幫助我們對場景有一個更好的理解，同時能夠幫助具有復雜操作任務的機器人系統和改善自動駕駛的感知系統。
   實例分割非常具有挑戰性，相比於傳統語義分割，實例分割對每一個對象都要有一個額外的注釋。
   困難點: 物體的尺度形狀變化，運動模糊等
2. modern instance segmentation methods(現有方案)

• 分兩個階段完成: 先使用矩形框表記出對象，然后對矩形框內對象進行前景背景分割
• 性能已經很好，但是在輸出上過於平滑，無法處理細粒度的細節。

3. 基於多邊形的方法

• 使用多邊形能夠快速交互注釋，同時更加貼近物體幾何形狀。
• 但是對於具有不相鄰的多個部分的對象來說，無法分割。
• 通過一個變型網絡來進行多邊形頂點的偏移預測。

4. PolyTransform

• 同時處理instance segmentation和interactive annotation problem
• 用常用圖像分割方法來生成掩膜，掩膜轉換為多邊形, 然后對多邊形集進行細化。

PolyTransform

1. Deforming Network
   注意力機制
2. Learning
   端到端的訓練形變網絡和特征提取網絡

參考

• CVPR2020SegmentationExcel
• PolyTransform: Deep Polygon Transformer for Instance Segmentation