語義分割,簡單地講就是給一張圖像,分割分出一個物體的准確輪廓。其實就是分類任務,而分類任務預測的結果往往就是一下四種:
- TP:True Positive
- FP:False Positive
- TN:True Negative
- FN:False Negative
其中,T/F表示預測與實際是否相符;P/N表示預測結果的正負。下面我們看一個具體的例子對這出現的四種情況進行分析:
由上圖可以看出,在這個語義分割的任務中,我們將$negative$表示為非物體標簽,即背景;$positive$表示有物體標簽。
從上圖中,我們可以清楚地看到白色斜線標記的是TN(預測中真實的背景部分);紅色斜線標記的是FN(預測中被預測為背景,但實際上並不是背景的部分);藍色斜線標記的是FP(預測中被預測為標簽的一部分,但實際上是背景的一部分);中間的黃色框標記的是TP(預測是標簽,實際也是標簽,預測和實際相符合)。
Mean Intersection over Union(MIoU,均交並比)為語義分割的標准度量。其計算兩個集合的交集和並集之比,在語義分割問題中,這兩個集合為真實值(ground truth)和預測值(predicted segmentation)。這個比例可以變形為 TP(交集)比上 TP、FP、FN 之和(並集)。在每個類上計算 IoU,然后取平均。
MIoU = A∩B / A∪B = TP / (FP + FN + TP)