JS散度解決了KL不對稱的問題,JS是對稱的。
很明顯,如果P1,P2完全相同,那么JS =0, 如果完全不相同,那么就是1.
JS散度是有界的:
但是KL和JS散度來度量時候有一個問題:
如果兩個分配P,Q離得很遠,完全沒有重疊的時候,那么KL值是沒有意義的,而JS值是一個常數。這在學習算法中是比較致命的,這就意味這這一點的梯度為0。梯度消失了。