Semantic Segmentation using Adversarial Networks
2018-04-27 09:36:48
Abstract：
對於產生式圖像建模來說，對抗訓練已經取得了很好的效果。本文中，我們提出了一種對抗訓練的方法來訓練語義分割模型。其實這里就是加了一個對抗loss，即：用一個 CNN 來判斷給定的圖是分割的結果呢？還是 GT？本文方法的動機是：it can detect and correct higher-order inconsistencies between GT segmentation maps and the ones produced by the segmentation net.
本文貢獻點是：
1. 首次嘗試將 adversarial training 引入到 語義分割領域；
2. 這種方法可以保證：long-range spatial label contiguity, 並且沒有在測試的時候增加復雜度；
3. 在兩個數據集上都提升了性能；
The Proposed Approach：
Adversarial training :
本文的方法是使用兩個混合 loss function，第一項是：a multi-class cross-entropy term，該項估計分割模型來獨立的預測每一個像素位置的類別標簽。
給定一個 RGB image x，分割模型輸出的是類別概率圖（the class probability map）s(x)；
第二項是：基於額外的對抗卷積網絡的。
==============================================
The Network Architecture：
根據上面的流程圖可以發現，本文是將分割結果 / GT二值圖 和原圖進行了相乘，得到的結果，輸入到對抗網絡中。具體細節如下圖所示：
======================
Reference：
1. Chainer Implementation: https://github.com/oyam/Semantic-Segmentation-using-Adversarial-Networks
2. PyTorch Implementation: https://github.com/GZHermit/pytorch-GAN4Segmentation