Wasserstein distance（EM距离）

一、总结

一句话总结：

①、Wasserstein 距离又叫Earth-Mover距离（EM距离），用于衡量两个分布之间的距离，

②、定义：$$W ( P _ { 1 } , P _ { 2 } ) = \inf _ { \gamma \sim \Pi ( P _ { 1 } , P _ { 2 } ) } E _ { ( x , y ) \sim y } [ \| x - y \| ]$$

③、$$\Pi ( P _ { 1 } , P _ { 2 } )$$ 是A和P2分布组合起来的所有可能的联合分布的集合。

 

 

1、KL散度？

A)、KL散度是用于衡量分布之间的差异程度的，又称为相对熵、信息增益。

B)、概率分布P1和P2的KL散度为：$$KL ( P _ { 1 } \| P _ { 2 } ) = E _ { x \sim P _ { 1 } } \log \frac { P _ { 1 } } { P _ { 2 } } = \int _ { x } P _ { 1 } ( x ) \log \frac { P _ { 1 } } { P _ { 2 } } d x$$

 

 

 

二、Wasserstein distance（EM距离）

转自或参考：Wasserstein distance（EM距离）
https://blog.csdn.net/sunny0121/article/details/80562975