[交互式分割]Interactive Object Segmentation with Inside-Outside Guidance

前言

0. 核心

• 問題：探索簡單的交互方式
• 方法：提供一個內部點和兩個邊界點(點擊交互)
• 結論：模型性能好，泛化效果好
  有代碼,

1. DEXTR方法

Abstract

1.提出了一種內部-外部指導（IOG）方法。具體地說，我們利用在對象中心附近單擊的一個內部點和包圍目標對象的緊密邊界框的對稱角位置（左上角和右下角或右上角和左下角）處的兩個外部點。這將導致總共一次前景點擊和四次背景點擊進行分割。
2.IOG有四個優點：1）兩個外部點可以幫助消除來自其他對象或背景的干擾；2）內部點有助於消除邊界框內不相關的區域；3）內部和外部點易於識別，減少了最先進的糊精標記引起的混淆一些極端的例子；4）我們的方法自然支持額外的點擊注釋，以便進一步修正。

Introduction

1. 背景

• semantic and instance segmentation for different domains:general scenes,autonomous driving,medical diagnosis.
• 成功的分割模型離不開大量的高質量的訓練數據
• 創建像素級別的標注數據難度:expensive,laborious,time-consuming
• 交互式分割更有吸引力。

2. 提出問題
   *【DEXTR】Deep Extreme Cut：From Extreme Points to Object Segmentation:
   主頁：http://people.ee.ethz.ch/~cvlsegmentation/dextr/
   論文地址：https://arxiv.org/abs/1711.09081
   代碼：https://github.com/scaelles/DEXTR-PyTorch/
   基於《Extreme clicking for efficient object annotation》
   extreme points:每個對象邊界的四個點,left-most, right-most, top, bottom

• 使用Extreme points(極值點)作為交互方式,極值點法雖然簡單，但是交互快速有效。
• 引出問題:Nevertheless, we argue that the clicking paradigm of extreme points also brings some
  issues:
  用戶需要仔細關注對象邊界進行點擊，
  物體內部有物體是會出現混淆

3. 我們提出的方法：To tackle the aforementioned issuesas well as to promote the effectiveness and efficiency of the interactive pro-
   cess,we propose an approach named Inside-Outside Guid-
   ance (IOG):

• three points (an inside point and two outside points)
• 交互方式好:PASCAL,GrabCut,COCO
• 泛化能力好:cross-domain annotation,street scenes,aerial imagery,medical images
• Pixel-ImageNet:a dataset with 0.615M instance masks of ImageNet collected using our IOG

Method

1. 交互方式:一個內部點，兩個邊界點((either top-left
   and bottom-right or top-right and bottom-left)
2. Segmentation Network
   coarse-to-fine

Experiemnts

1. 范化能力實驗
   11 publicly
   available benchmarks, including PASCAL [20], Grab-
   Cut [52], COCO [41], ImageNet [53], Open Images [53],
   Cityscapes [17], Rooftop [57], Agriculture-Vision [16],
   ssTEM [22], Pascal-Context [47], and COCO-Stuff [6],to demonstrate the effectiveness and the generalization capa-
   bilities of our IOG.
2. Comparison with the State-of-the-Arts:IOU標准
3. Ablation Study 消融實驗
4. Cross-Domain Evaluation

參考

• 演示視頻
• 代碼-IOG
• CVPR2020SegmentationExcel
• Interactive Object Segmentation with Inside-Outside Guidance