Dice Loss

DiceLoss介紹

Desc: Generalised Dice overlap as a deep learning loss function for highly unbalanced segmentations； 骰子損失
Tags: 損失函數, 骰子損失

資源鏈接：https://zhuanlan.zhihu.com/p/50539347

骰子損失：

• 第一次出現：VNet:https://arxiv.org/pdf/1606.04797.pdf
• 出現后優化：Generalised Dice overlap as a deep learning loss function for highly unbalanced segmentations

目錄

• DiceLoss介紹
• 1、不平衡數據的損失函數
• 2、加權交叉熵損失WCE
• 3、Dice Loss 骰子損失
• 4、敏感性和特異性 Sensitivity and specificity(SS)
• 5、廣義骰子損失 Generalized Dice Loss(GDL)

1、不平衡數據的損失函數

​ 由於損失函數在解決類別不平衡問題上的潛力，本文比較了損失函數所做的工作。所有損失函數都在二元分類（前景與背景）公式下進行了分析，因為它代表了類別不平衡的量化最簡單設置。請注意，將這些損失函數中的一些公式化為一類問題將在一定程度上緩解不平衡問題，但結果不會輕易推廣到多個類。

​ 令 \(R\) 為前景分割(金標准)，它的體素值為\(r_{n}\)；令\(P\) 是前景label的預測概率圖，背景概率是\(1 - P\)，概率圖是面向於圖像中的第\(n\)個體素\(p_{n}\)而言。

2、加權交叉熵損失WCE

二分類的交叉熵損失：

\[WCE=\frac{1}{-N}\sum_{n=1}^{N}wr_{n}log\left ( p_{n} \right ) + \left ( 1 - r_{n} \right )log\left ( 1 - p_{n} \right ) \]

這個公式看起來是不是有點暈？為什么是這的公式？下面我們先簡單介紹一下為什么是這樣的：

• 首先，上面的公式來源於統計學的極大似然估計；
• 其次，對於二分類問題，我們可以使用\(p^{r}(1-p)^{1-r}\)來表示似然函數，去對數即可得到上面的結果;
• 為什么要使用似然函數？因為我們認為已經發生的事情是大概率事件，這里也為后面使用\(pred\bigcap gt\)埋下伏筆。
• 注意去對數之后的求和符號是因為，一般情況下變量是連續的，而實際使用過程中是離散的，這里就是使用微分的思想。

其中的加權參數\(w\)是：

\[\frac{N-\sum_{n}p_{n}}{\sum_{n}p_{n}} \]

這里實際上是將正例與負例的占比進行交叉加權，實現正負樣本損失重要度一樣，但是這樣真的合理嗎？加權交叉熵可以推廣到兩類以上。

3、Dice Loss 骰子損失

當我們的金標准或GT對象是可用的時候，骰子損失被廣泛用於度量分割的表現。二分類的骰子損失函數為：

\[DL_{2}=1-\frac{\sum_{n=1}^{N}p_{n}r_{n}+\varepsilon }{\sum_{n=1}^{N}p_{n} + r_{n}+\varepsilon}-\frac{\sum_{n=1}^{N}\left (1 - p_{n}  \right )\left ( 1- r_{n}  \right )+\varepsilon}{\sum_{n=1}^{N}2 - p_{n} - r_{n}+\varepsilon} \]

這里的前景特征圖R，概率圖P實際上對應的是一個對象，即對分割區域的預測，那么兩者應該是差不多的吧，即差異性應該非常小才對。

• 前景：上式右邊第二項，我們可以看作金標准與概率圖兩者在前景預測的交集比上兩者在前景預測上的並集。如果兩者完全一樣，這一項應該為\(\frac{1}{2}\)，對應的后景相也是\(\frac{1}{2}\)，則損失為0。

• 后景：上式右邊第三項，參考前景即得此項是對背景的預測性能。

4、敏感性和特異性 Sensitivity and specificity(SS)

在評估分割結果時，敏感性和特異性是兩個備受重視的特征。將其作為損失函數可記為：

\[SS=\lambda \frac{\sum_{n=1}^{N}\left ( r_{n} - p_{n} \right )^{2}r_{n}}{\sum_{n=1}^{N}r_{n} + \varepsilon }+\left ( 1-\lambda  \right )\frac{\sum_{n=1}^{N}\left ( r_{n} - p_{n} \right )^{2}\left (1 -r_{n}  \right )}{\sum_{n=1}^{N}\left (1 - r_{n}  \right ) + \varepsilon } \]

參數\(\lambda\)是平衡敏感性與特異性的參數，我們默認設置其為0.05。

5、廣義骰子損失 Generalized Dice Loss(GDL)

​ Crum等人[2]提出了廣義Dice分數（GDS）作為一種用單一分數評價多類分割的方法，但尚未用於判別模型訓練。我們建議使用GDL作為訓練深度卷積神經網絡的損失函數。計算方式為：

\[GDL=1 - 2\times \frac{\sum_{l=1}^{2}w_{l}\sum_{n}r_{ln}p_{ln}}{\sum_{l=1}^{2}w_{l}\sum_{n}r_{ln} + p_{ln}} \]

當\(w_{l}=1 / \left ( \sum_{n=1}^{N} r_{ln}\right )^{2}\)時，，記\(GDL\)為\(GDL_{v}\)。每個標簽的貢獻通過其體積的倒數進行校正，從而減少區域大小和骰子分數之間眾所周知的相關性。

注意這里作者進行了部分改進，之前是在像素級別上進行計算，現在是分類別進行計算的，也即這里的優化策略是將像素先分類，在逐像素計算骰子損失。如 \(p_{ln}\) 是概率圖，那么假設 \(p_{1n}\) 是前景概率圖， \(r_{1n}\) 是前景分割特征圖，那么兩者的乘積是同時預測為正的體素個數，同理\(r_{2n} \times p_{2n}\)為同時預測為后景的的體素個數，加權求和，即為正確預測的數量；分母類似分析可得：將預測為正的並集乘以權值與預測為負的並集乘以權值相加 。