JS散度


  JS散度 (Jensen-Shannon divergence)
 
JS散度解决了KL不对称的问题,JS是对称的。
很明显,如果P1,P2完全相同,那么JS =0, 如果完全不相同,那么就是1.
 
交叉熵代价函数和KL散度/JS散度等概率距离度量
JS散度是利用KL散度来得到的。JS是对称的而且值是有界的[0,1].
交叉熵代价函数和KL散度/JS散度等概率距离度量
P,Q和第三个分布进行KL计算(第三个分布:(P+Q)/2 )
 
JS散度是有界的:
交叉熵代价函数和KL散度/JS散度等概率距离度量

 
但是KL和JS散度来度量时候有一个问题:
如果两个分配P,Q离得很远,完全没有重叠的时候,那么KL值是没有意义的,而JS值是一个常数。这在学习算法中是比较致命的,这就意味这这一点的梯度为0。梯度消失了。


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM