Wasserstein距離 和 Lipschitz連續

Fly

Time: 2017-5-31

• 前言
• Wasserstein Distance
• Lipschitz
• reference

---

前言

由於最近要看Wasserstein GAN 和 LS-GAN，前者用到了 Earth-Mover距離（Wasserstein）,后者假定了Lipschitz連續。所以就打算把這兩者的概念搞清楚一下。以此作為筆記。

Wasserstein Distance

Wasserstein距離又叫Earth-Mover距離(EM距離，推土距離)，Earth Mover’s Distance (EMD)，和歐式距離一樣，它們都是一種距離度量的定義、可以用來測量某兩個分布之間的距離,定義：

距離

是 和 分布組合起來的所有可能的聯合分布的集合。對於每一個可能的聯合分布 ，可以從中采樣 得到一個樣本x和y，並計算出這對樣本的距離 ，所以可以計算該聯合分布 下，樣本對距離的期望值 。在所有可能的聯合分布中能夠對這個期望值取到的下界 就是Wasserstein距離。

直觀上可以把理解為在γ這個路徑規划下把土堆 挪到土堆所需要的消耗。而Wasserstein距離就是在最優路徑規划下的最小消耗。

根據Kantorovich-Rubinstein對偶原理，可以得到Wasserstein距離的等價形式：

距離

在EM距離中當兩個為向量時，使用歐幾里得距離計算, 當為概率時，使用KL距離來就算兩者間的距離。

具體詳細的的內容請參看[1] [2]兩篇文章

圖

Lipschitz

Lipschitz（利普希茨）連續定義[3]：
有函數 ，如果存在一個常量，使得對定義域上（可為實數也可以為復數）的任意兩個值滿足如下條件：

那么稱函數滿足Lipschitz連續條件，並稱K為的Lipschitz常數。
Lipschitz連續比一致連續要強。它限制了函數的局部變動幅度不能超過某常量。

reference

[1] http://blog.csdn.net/victoriaw/article/details/56674777
[2] http://blog.csdn.net/garfielder007/article/details/50389507
[3] http://blog.csdn.net/victoriaw/article/details/58006629