1. 概述
KL散度存在不對稱性，為解決這個問題，在KL散度基礎上引入了JS散度。
\[J S\left(P_{1} \| P_{2}\right)=\frac{1}{2} K L\left(P_{1} \| \frac{P_{1}+P_{2}}{2}\right)+\frac{1}{2} K L\left(P_{2} \| \frac{P_{1}+P_{2}}{2}\right) \]
JS散度的值域范圍是[0,1]，相同則是0，相反為1
2. 性質
這個公式對於\(P_1\)和\(P_2\)明顯是對稱的，而且由於是兩個KL疊加，故JS具有對稱性和非負性。
當 \(P_{1} = \frac{P_{1}+P_{2}}{2} = P_{2}時\)，兩個KL值均為0，故JS為0。也就是說當兩個分布相同時JS為0。
KL散度和JS散度度量的時候有一個問題：
如果兩個分配P,Q離得很遠，完全沒有重疊的時候，那么KL散度值是沒有意義的，而JS散度值是一個常數。這在學習算法中是比較致命的，這就意味這這一點的梯度為0。梯度消失了。
3. 證明
證明兩個分布完全不重疊時，JS散度是一個常數。
\[\begin{aligned} JS(P \| Q) &= \frac{1}{2} K L\left(P_{1} \| \frac{P_{1}+P_{2}}{2}\right)+\frac{1}{2} K L\left(P_{2} \| \frac{P_{1}+P_{2}}{2}\right) \\ &=\frac{1}{2} \sum p(x) \log \left(\frac{p(x)}{\frac{p(x)+q(x)}{2}}\right)+\frac{1}{2} \sum q(x) \log \left(\frac{q(x)}{\frac{p(x)+q(x)}{2}}\right) \\ &=\frac{1}{2} \sum p(x) \log \left(\frac{2 p(x)}{p(x)+q(x)}\right)+\frac{1}{2} \sum q(x) \log \left(\frac{2 q(x)}{p(x)+q(x)}\right) \\ &=\frac{1}{2} \sum p(x) \log \left(\frac{p(x)}{p(x)+q(x)}\right)+\frac{1}{2} \sum q(x) \log \left(\frac{q(x)}{p(x)+q(x)}\right)+\log 2 \end{aligned} \]
由於兩個分布完全不重疊，故必有p(x)或q(x)為0
p(x)=0時
\[\begin{aligned} JS(P \| Q) &=\frac{1}{2} \sum p(x) \log \left(\frac{p(x)}{p(x)+q(x)}\right)+\frac{1}{2} \sum q(x) \log \left(\frac{q(x)}{p(x)+q(x)}\right)+\log 2 \\ &=\frac{1}{2} \sum 0 \times \log \left(\frac{0}{0+q(x)}\right)+\frac{1}{2} \sum q(x) \log \left(\frac{q(x)}{0+q(x)}\right)+\log 2 \\ &= \log 2 \end{aligned} \]
q(x)=0時
\[\begin{aligned} JS(P \| Q) &=\frac{1}{2} \sum p(x) \log \left(\frac{p(x)}{p(x)+q(x)}\right)+\frac{1}{2} \sum q(x) \log \left(\frac{q(x)}{p(x)+q(x)}\right)+\log 2 \\ &=\frac{1}{2} \sum p(x) \log \left(\frac{p(x)}{p(x)+0}\right)+\frac{1}{2} \sum 0 \times \log \left(\frac{0}{p(x)+0}\right)+\log 2 \\ &=\log 2 \end{aligned} \]
這就是JS散度的缺陷，當兩個分布完全不重疊時，即便兩個分布的中心距離有多近，其JS散度都是一個常數，導致梯度為0，無法更新。
參考鏈接
https://blog.csdn.net/weixinhum/article/details/85227476
https://blog.csdn.net/Invokar/article/details/88917214