圖像分割之Bayesian Matting
最近閱讀了關於Matting的兩篇文章，【Blue Screen Matting】和【A Bayesian Approach to Digital Matting】都是早期的（1996ACM,2001CVPR）圖像融合Image Matting技術。接下來簡單地寫寫目前自己對Matting的理解和認識。
Matting重點在於分出前景和背景以及它們之間的融合度。早期有Blue Screen Matting 其創建了Matting的萬能公式：
其中,a,B,F分別為融合度、背景、前景。讓機器去分割（識別）圖片中哪個是前景哪個是背景，從而將前景圖片“挖”出來，達到目的。
當a=1時，I(x,y) = F(x,y);
當a=0時，I(x,y) = B(x,y);
當a=1/2時，I(x,y) = 1/2 F(x,y)+1/2B(x,y);
已知3個等式和7個未知數$(\alpha ,F_{R,G,B},B_{R,G,B})$我們可以利用Tri-map,Scribble來為機器識別前景背景。
1 Blue Screen Matting解法
利用背景的不同，識別前景，進行Matting.$\alpha =1-a_{1}(I_{b}-a_{2}I_{g})$ 其中blue channel is large, green channel is low.
1.1 Difference Matting
基本思想是利用在不同背景（顏色）下拍攝前景物體，后利用計算機分辨兩圖差異進行Matting.跟方法1的思想類似。
1.2 Getting Ground-Truth mattes
B已知，則剩下3個等式，4個未知數。對兩幅圖片進行區別對比時$I_{1}=\alpha F+(1-\alpha )B_{1}$ $I_{2}=\alpha F+(1-\alpha )B_{2}$ 於是就有了6個等式和4個未知數。
2 Natural Image Matting解法；
已知I，未知a,F,B。利用概率知識來對未知區域進行識別
以上是熟知的條件概率，I是已知的且F,B,α相互獨立，根據上面公式Matting問題被轉化為已知待計算像素顏色I的情況下，如何估計它的F、B和α的值以最大化后驗概率P(F,B,α|I)P(F,B,α|I)的問題，即MAP問題。
根據文獻[1]，算法構建來自給定鄰域的前、背景概率分布進行計算，用連續的滑動窗口進行鄰域的定義，分別由前景、背景向未知區域“前進”利用鄰域值來計算F,B,α的高斯分布，表達為概率分布P的最大概率。
文獻將采樣窗口定義為一個以待計算點為中心，半徑r的圓域。采樣期間同時將未知區域以及F,B進行采集，采集過程中對采樣點的Contribution加權[2]。根據α對前景采樣時使用$\alpha ^{2}$對背景采樣時使用$(1-\alpha) ^{2}$表示越透明的像素致信度越高；另外采樣點到目標點間的距離，采用方差為8的高斯分布對距離因子$g_{i}$進行衰減，最終所有權值表示為$w_{i}=\alpha ^{2}g_{i}$(前景)，$w_{i}=(1-\alpha )^{2}g_{i}$(背景)。
算法的核心假設是在前景和背景的交界區域附近，其各自的顏色分布在局部應該是基本一致的。算法的目標是通過上面給出的采樣統計結果，在未知區域的每一個待計算點上重建它的前景和背景顏色概率分布，並根據這種分布恢復出它的前景F，背景B和α值。
對最初的概率公式進行改造，利用對數似然函數L(·)=logP(·)有
對L(I|F,B,α)通過測量觀測到的顏色I與估計的F,B, α的顏色I‘間的差來建模。
其中以I=αF-(1-α)B為中心的高斯分布，標准差為$\delta ^{2}$
對L(F)用圖像空間相干性來計算，使用已知的鄰域N內的每個像素與先前估計的前景顏色來建立顏色的概率分布，每個臨近像素i於N內的權重$w_{i}=\alpha ^{2}g_{i}$，給定一組前景和相應的權重，計算加權平均顏色F，加權協方差矩陣ΣF
同樣類似與前景，對L(B)有$w_{i}=(1-\alpha )^{2}g_{i}$設α為常數，有
可以求得最佳F,B 最后假設F和B是常數，從而得到關於α的二次方程，並對α求導，令其值為0，於是得到：
這樣所有未知方程都可以求解出來，原方程即求解。
接下來對算法進行實現，數據集[3]包括輸入的簡單圖像和其Tri-map圖。實驗采用Matlab平台，下面圖片分別是原圖，Tri-map圖，融合結果圖。
Reference:
[1] Chuang Y Y , Curless B , Salesin D H , et al. A Bayesian approach to digital matting[C]// Computer Vision and Pattern Recognition, 2001. CVPR 2001. Proceedings of the 2001 IEEE Computer Society Conference on. IEEE, 2001.
[2] 白馬負金羈,自然摳圖算法：以經典的貝葉斯摳圖為例（Bayesian Matting),
https://blog.csdn.net/baimafujinji/article/details/72863106?utm_source=gold_browser_extension
[3] Alpha Matting Evaluation Website,
http://www.alphamatting.com/datasets.php
[4] github-lolilolihunter-Bayesian-Matting
https://github.com/lolilolihunter/Bayesian-Matting