Wasserstein distance（EM距離）

一、總結

一句話總結：

①、Wasserstein 距離又叫Earth-Mover距離（EM距離），用於衡量兩個分布之間的距離，

②、定義：$$W ( P _ { 1 } , P _ { 2 } ) = \inf _ { \gamma \sim \Pi ( P _ { 1 } , P _ { 2 } ) } E _ { ( x , y ) \sim y } [ \| x - y \| ]$$

③、$$\Pi ( P _ { 1 } , P _ { 2 } )$$ 是A和P2分布組合起來的所有可能的聯合分布的集合。

 

 

1、KL散度？

A)、KL散度是用於衡量分布之間的差異程度的，又稱為相對熵、信息增益。

B)、概率分布P1和P2的KL散度為：$$KL ( P _ { 1 } \| P _ { 2 } ) = E _ { x \sim P _ { 1 } } \log \frac { P _ { 1 } } { P _ { 2 } } = \int _ { x } P _ { 1 } ( x ) \log \frac { P _ { 1 } } { P _ { 2 } } d x$$

 

 

 

二、Wasserstein distance（EM距離）

轉自或參考：Wasserstein distance（EM距離）
https://blog.csdn.net/sunny0121/article/details/80562975