Huber loss


統計學中,Huber損失是用於魯棒回歸的損失函數,與平方誤差損失相比,對數據中的游離點較不敏感。 也有時使用分類的變體。

1.定義

胡伯損失函數描述估計方法F招致的懲罰。Huber(1964)通過分段定義了損失函數。

當a的值較小時,該函數為二次函數,當a的值較大時,該函數為線性函數,當|a|=delta時兩函數具有相等的值和不同的斜率。變量a通常是指殘差,即觀測值和預測值之間的差值a=y-f(x)。所以上面的式子可以被擴展為:

兩個非常常用的損失函數是平方丟失,L(a)= a ^ 2,和絕對損失L(a)= | a |。 平方損失函數導致算術平均無偏估計,並且絕對值損失函數導致中值無偏估計量(在一維情況下,多維情況下的幾何中位數 - 無偏估計量)。 平方損失的缺點是,它具有被異常值支配的傾向 - 當對一組a進行求和時(如L(a1)+...L(an).當分布很重時,樣本平均值受到一些特別大的a值的影響太大.:在估計理論方面,平均值的漸近相對效率對於重尾分布是很差。
如上所述,Huber損失函數在其最小值a = 0的均勻鄰域中是凸的,在該均勻鄰域的邊界處,Huber損失函數在點處具有可微分的仿射函數的擴展a=-delta和 a=delta。 這些屬性允許它將平均無偏差的最小方差估計器(使用二次損耗函數)和中值無偏估計器的魯棒性(使用絕對值函數)的大部分靈敏度相結合。

2.Pseudo-Huber loss 函數

Pseudo-Huber loss 函數可以用作Huber loss 函數的平滑近似,並確保派生物在所有程度上是連續的。 它被定義為

因此,對於a的小值,該函數近似於a ^ 2 / 2, 對於a的大值該函數近似於具有斜率delta。
雖然上述是最常見的形式,但是還存在Huber損失函數的其他平滑近似

3.用於分類的變體

為了分類,有時使用Huber損失的變體。 給定預測值f(x)(一個實值分類器得分)和一個真正的二進制類標簽 y in (+ 1,-1),修改后的Huber損失定義為

術語max(0,1-y.(f(x)^2))是支持向量機使用的鉸鏈損失; 二次平滑的鉸鏈損失L的泛化

4.應用

Huber損失函數用於魯棒統計,M估計和加法建模


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM