Semantic Segmentation using Adversarial Networks
2018-04-27 09:36:48
Abstract:
對於產生式圖像建模來說,對抗訓練已經取得了很好的效果。本文中,我們提出了一種對抗訓練的方法來訓練語義分割模型。其實這里就是加了一個對抗loss,即:用一個 CNN 來判斷給定的圖是分割的結果呢?還是 GT?本文方法的動機是:it can detect and correct higher-order inconsistencies between GT segmentation maps and the ones produced by the segmentation net.
本文貢獻點是:
1. 首次嘗試將 adversarial training 引入到 語義分割領域;
2. 這種方法可以保證:long-range spatial label contiguity, 並且沒有在測試的時候增加復雜度;
3. 在兩個數據集上都提升了性能;
The Proposed Approach:
Adversarial training :
本文的方法是使用兩個混合 loss function,第一項是:a multi-class cross-entropy term,該項估計分割模型來獨立的預測每一個像素位置的類別標簽。
給定一個 RGB image x,分割模型輸出的是類別概率圖(the class probability map)s(x);
第二項是:基於額外的對抗卷積網絡的。
==============================================
The Network Architecture:
根據上面的流程圖可以發現,本文是將分割結果 / GT二值圖 和原圖進行了相乘,得到的結果,輸入到對抗網絡中。具體細節如下圖所示:
======================
Reference:
1. Chainer Implementation: https://github.com/oyam/Semantic-Segmentation-using-Adversarial-Networks
2. PyTorch Implementation: https://github.com/GZHermit/pytorch-GAN4Segmentation