JS散度


  JS散度 (Jensen-Shannon divergence)
 
JS散度解決了KL不對稱的問題,JS是對稱的。
很明顯,如果P1,P2完全相同,那么JS =0, 如果完全不相同,那么就是1.
 
交叉熵代價函數和KL散度/JS散度等概率距離度量
JS散度是利用KL散度來得到的。JS是對稱的而且值是有界的[0,1].
交叉熵代價函數和KL散度/JS散度等概率距離度量
P,Q和第三個分布進行KL計算(第三個分布:(P+Q)/2 )
 
JS散度是有界的:
交叉熵代價函數和KL散度/JS散度等概率距離度量

 
但是KL和JS散度來度量時候有一個問題:
如果兩個分配P,Q離得很遠,完全沒有重疊的時候,那么KL值是沒有意義的,而JS值是一個常數。這在學習算法中是比較致命的,這就意味這這一點的梯度為0。梯度消失了。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM