論文地址：https://arxiv.org/abs/1703.03872
TF復現地址：https://github.com/Joker316701882/Deep-Image-Matting
領域
主題
主要思想
實踐
數據集
49300張訓練圖像和1000張測試圖像
當前基於摳圖的數據集太小，alphamatting.com數據集只有27張訓練圖片和8張測試圖片，訓練出來的模型泛化能力較差。
針對該問題，作者將前景摳出來，並放入到不同的背景下，從而構建一個大規模摳圖數據集。
模型
深度模型分為兩個階段。
Matting encoder-decoder stage
該神經網絡將原圖和對應的trimap作為輸入，並預測圖像的alpha matte。
網絡：輸入圖像塊和對應的trimap，輸出是alpha預測。編碼階段是14個卷積層和5個池化層，得到低分辨率的特征圖，解碼階段是6個卷積層的小網絡，5次unpooling得到原圖大小的alpha prediction.
Loss: 使用了兩個loss，第一個是alpha-prediction loss，是預測的alpha values 和ground truth的alpha values的絕對差。第二個loss是compositional loss，預測的RGB顏色值和對應的ground truth絕對差。兩個loss以0.5加權得到最終的loss。
實現：數據處理技巧有隨機裁剪（320*320），不同尺度輸入（resize到320*320），圖片翻轉等；編碼加載VGG16模型的前面，譯碼階段使用Xavier隨機初始化。
Matting refinement stage
該網絡對第一個網絡預測的alpha matte進行精煉，從而擁有更准確的α值和銳化邊緣。
網絡：4個卷積層，輸入是圖像塊和預測的alpha prediction。
實現：先訓練編解碼網絡，待其收斂后用於更新refine網絡，第二個網絡只使用alpha-prediction loss。
理論
主要解決傳統方法中只有low-level features和缺乏high-level context的問題。
一是當前方法將摳圖方程設計為兩個顏色的線性組合，即將摳圖看做一個染色問題，這種方法將顏色看做是一個可區分的特征。但是當前景和背景的顏色空間分布重疊時，這種方法的效果就不是很好了。使用深度學習不首要依賴色彩信息，它會學習圖像的自然結構，並將其反映到alpha matte。
二是