（轉）看穿機器學習（W-GAN模型）的黑箱

 

 

本文轉自：http://www.360doc.com/content/17/0212/11/35919193_628410589.shtml#

 

看穿機器學習（W-GAN模型）的黑箱

2017-02-12   黑馬_御風  摘自 老顧談幾何  閱 3 

轉藏到我的圖書館

 

微信 分享：

 

 

圖a. Principle of GAN.

 

前兩天紐約暴雪，天地一片蒼茫。今天元宵節，長島依然清冷寂寥，正月十五鬧花燈的喧囂熱鬧已成為悠遠的回憶。這學期，老顧在講授一門研究生水平的數字幾何課程，目前講到了2016年和丘成桐先生、羅鋒教授共同完成的一個幾何定理【3】，這個工作給出了經典亞歷山大定理（Alexandrov Theorem）的構造性證明，也給出了最優傳輸理論（Optimal Mass Transportation）的一個幾何解釋。這幾天，機器學習領域的Wasserstein GAN突然變得火熱，其中關鍵的概念可以完全用我們的理論來給出幾何解釋，這允許我們在一定程度上親眼“看穿”傳統機器學習中的“黑箱”。下面是老顧下周一授課的講稿。

 

生成對抗網絡 GAN

訓練模型 生成對抗網絡GAN （Generative Adversarial Networks）是一個“自相矛盾”的系統，就是以己之矛克以己之盾，在矛盾中發展，使得矛更加鋒利，盾更加強韌。這里的矛被稱為是判別器（Descriminator），這里的盾被稱為是生成器（Generator）。

 

 

圖b. Generative Model.

 

生成器G一般是將一個隨機變量（例如高斯分布，或者均勻分布），通過參數化的概率生成模型（通常是用一個深度神經網來進行參數化），進行概率分布的逆變換采樣，從而得到一個生成的概率分布。判別器D也通常采用深度卷積神經網。

 

圖1. GAN的算法流程圖。

 

矛盾的交鋒過程如下：給定真實的數據，其內部的統計規律表示為概率分布，我們的目的就是能夠找出。為此，我們制作了一個隨機變量生成器G，G能夠產生隨機變量，其概率分布是，我們希望盡量接近。為了區分真實概率分布和生成概率分布，我們又制作了一個判別器D，給定一個樣本，D來復制判別這個樣本是來自真實數據還是來自偽造數據。Goodfellow給GAN中的判別器設計了如下的損失函數（lost function）， 盡可能將真實樣本判為正例，生成樣本判為負例：

。

第一項不依賴於生成器G, 此式也可以定義GAN中的生成器的損失函數。

                           

在訓練中，判別器D和生成器G交替學習，最終達到納什均衡（零和游戲），判別器無法區分真實樣本和生成樣本。

 

優點 GAN具有非常重要的優越性。當真實數據的概率分布不可計算的時候，傳統依賴於數據內在解釋的生成模型無法直接應用。但是GAN依然可以使用，這是因為GAN引入了內部對抗的訓練機制，能夠逼近一下難以計算的概率分布。更為重要的，Yann LeCun一直積極倡導GAN，因為GAN為無監督學習提供了一個強有力的算法框架，而無監督學習被廣泛認為是通往人工智能重要的一環。

 

缺點 原始GAN形式具有致命缺陷：判別器越好，生成器的梯度消失越嚴重。我們固定生成器G來優化判別器D。考察任意一個樣本，其對判別器損失函數的貢獻是

兩邊對求導，得到最優判別器函數

代入生成器損失函數，我們得到所謂的Jensen-Shannon散度（JS）

。

在這種情況下（判別器最優），如果的支撐集合（support）交集為零測度，則生成器的損失函數恆為0，梯度消失。

 

改進 本質上，JS散度給出了概率分布之間的差異程度，亦即概率分布間的度量。我們可以用其他的度量來替換JS散度。Wasserstein距離就是一個好的選擇，因為即便的支撐集合（support）交集為零測度，它們之間的Wasserstein距離依然非零。這樣，我們就得到了Wasserstein GAN的模式【1】【2】。Wasserstein距離的好處在於即便兩個分布之間沒有重疊，Wasserstein距離依然能夠度量它們的遠近。

 

為此，我們引入最優傳輸的幾何理論（Optimal Mass Transportation），這個理論可視化了W-GAN的關鍵概念，例如概率分布，概率生成模型（生成器），Wasserstein距離。更為重要的，這套理論中，所有的概念，原理都是透明的。例如，對於概率生成模型，理論上我們可以用最優傳輸的框架取代深度神經網絡來構造生成器，從而使得黑箱透明。

最優傳輸理論梗概

 

 

給定歐氏空間中的一個區域，上面定義有兩個概率測度和，滿足

,

我們尋找一個區域到自身的同胚映射（diffeomorphism），, 滿足兩個條件：保持測度和極小化傳輸代價。

 

保持測度 對於一切波萊爾集,

換句話說映射T將概率分布映射成了概率分布，記成 。直觀上，自映射，帶來體積元的變化，因此改變了概率分布。我們用和來表示概率密度函數，用來表示映射的雅克比矩陣（Jacobian matrix），那么保持測度的微分方程應該是：,

，

這被稱為是雅克比方程（Jacobian Equation）。

 

最優傳輸映射 自映射的傳輸代價（Transportation Cost）定義為

。

在所有保持測度的自映射中，傳輸代價最小者被稱為是最優傳輸映射（Optimal Mass Transportation Map），亦即：

,

最優傳輸映射的傳輸代價被稱為是概率測度和概率測度之間的Wasserstein距離，記為。

 

在這種情形下，Brenier證明存在一個凸函數，其梯度映射

就是唯一的最優傳輸映射。這個凸函數被稱為是Brenier勢能函數（Brenier potential）。

 

由Jacobian方程，我們得到Brenier勢滿足蒙日-安培方程，梯度映射的雅克比矩陣是Brenier勢能函數的海森矩陣（Hessian Matrix），

。

蒙日-安培方程解的存在性、唯一性等價於經典的凸幾何中的亞歷山大定理（Alexandrov Theorem）。

 

圖2. 亞歷山大定理。

 

亞歷山大定理  如圖2所示，給定平面凸區域，考察一個開放的凸多面體，選定一個面，的法向量記為，的投影和相交的面積記為，則總投影面積滿足

，

凸多面體可以被確定。亞歷山大定理對任意維凸多面體都成立。

 

后面，我們可以看到，這個凸多面體就是Brenier勢能函數，其梯度映射將一個概率分布映到另外一個概率分布，並且這兩個概率分布之間的Wasserstein 距離對偶於此凸多面體決定的體積。理論上，這個凸多面體可以作為W-GAN模型中的生成器G。

 

W-GAN中關鍵概念可視化

 

Wasserstein-GAN模型中，關鍵的概念包括概率分布（概率測度），概率測度間的最優傳輸映射（生成器），概率測度間的Wasserstein距離。下面，我們詳細解釋每個概念所對應的構造方法，和相應的幾何意義。

 

概率分布 GAN模型中有兩個至關重要的概率分布（probability measure），一個是真實數據的概率分布，一個是生成數據的概率分布。另外，生成器的輸入隨機變量，滿足標准概率分布（高斯、均勻分布）。

 

    圖3. 由保角變換（conformal mapping）誘導的圓盤上概率測度。

 

概率測度可以看成是一種推廣的面積（或者體積）。我們可以用幾何變換隨意構造一個概率測度。如圖3所示，我們用三維掃描儀獲取一張人臉曲面，那么人臉曲面上的面積就是一個概率測度。我們縮放變換人臉曲面，使得總曲面等於。然后，我們用保角變換將人臉曲面映射到平面圓盤。如圖3所示，保角變換將人臉曲面上的無窮小圓映到平面上的無窮小圓，但是，小圓的面積發生了變化。每對小圓的面積比率定義了平面圓盤上的概率密度函數。

 

我們可以將以上的描述嚴格化。人臉曲面記為，其上具有黎曼度量。平面圓盤記為，平面坐標為，平面的歐氏度量為。保角映射記為

，

則，這里面積變換率函數給出了概率密度函數。誘導了圓盤上的一個概率測度。

 

 

圖4. 兩個概率測度之間的最優傳輸映射。

 

最優傳輸映射 圓盤上本來有均勻分布，又有保角變換誘導的概率分布，則存在唯一的最優傳輸映射。圖4顯示了這個映射，中間幀到右幀的映射就是最優傳輸映射。我們看到，鼻尖周圍的區域被壓縮，概率密度提高。

 

圖5. 離散最優傳輸。

 

離散最優傳輸映射 最優傳輸映射的數值計算非常幾何化，因此可以直接被可視化。我們將目標概率測度離散化，表示成一族離散點，；每點被賦予一個狄拉克測度，，滿足。然后，我們求得單位圓盤的一個胞腔分解，，每個胞腔映到相應的目標點，。映射保持概率測度，胞腔的面積等於目標測度，

,

同時極小化傳輸代價，

。

 

圖6. 離散Brenier勢能函數，離散最優傳輸映射。

 

離散Brenier勢能 離散最優傳輸映射是離散Brenier勢能函數的梯度映射。對於每一個目標離散點，我們構造一個平面 ，這里平面的截距是未知變量。這些平面的上包絡（upper envelope）構成一個開放的凸多面體，恰為離散Brenier勢能函數的圖（Graph）,

。

圖6左側顯示了離散Briener勢能函數。凸多面體在平面上的投影構成了平面的胞腔分解，凸多面體的每個面被映成了一個胞腔；每個面的梯度都是，因此Brenier勢能函數的梯度映射就是。

 

根據保測度性質，每個胞腔的面積應該等於指定面積。由此，我們調節平面的截距以滿足這個限制。根據亞歷山大定理，這種截距存在，並且本質上唯一。

 

離散Wasserstein距離 我們和丘成桐先生建立了變分法來求取平面的截距。給定截距向量，平面族為，其上包絡構成的Briener勢能函數為 , 上包絡的投影生成了平面的胞腔分解, 胞腔的面積記為。我們定義的能量為，

,

這個能量在子空間 上是嚴格凹的，其唯一的全局最大點就給出了滿足保測度條件的截距。這個能量的非線性項，實際上是上包絡截出的柱體體積，

，

圖7給出了柱體體積的可視化，柱體體積是凸函數。

 

圖7. 離散Brenier勢能函數的圖截出的柱體體積。

 

體積函數和Wasserstein距離之間相差一個勒讓德變換（Legendre Transformation）。勒讓德變換非常幾何化，我們可以將其可視化。給定一個定義在實數軸上的二階光滑凸函數，其圖是一條凸曲線，這條凸曲線由其所有的切線包絡而成。如果，在任意一點，函數的切線的斜率為y，則此切線的截距滿足

，

這被稱為是函數的勒讓德變換。以切線的斜率為參數，以切線的截距為函數值。

 

圖8.凸函數的圖像由其切線包絡而成，切線集合被表示成原函數的勒讓德對偶。

 

 

因為的凸性，映射是微分同胚，記為。那么，原函數和勒讓德變換后的函數滿足關系：

,

這里c,d是常數。原函數和其勒讓德變換的直觀圖解由圖9給出。我們在xy-平面上畫出曲線，曲線下面的面積是，曲線上面的面積是勒讓德變換。

 

圖9. 圖解勒讓德變換。

 

勒讓德變換的幾何圖景對任意維都對。我們下面來考察體積函數的勒讓德變換。根據定義，

,

假如我們變動截距，或者等價地變動胞腔面積，考察兩個胞腔交界處，

,

p本來屬於，變化后屬於，所有這種點的總面積為。則為Wasserstein距離帶來的變化是：

因此，總的Wasserstein距離的變化是

。

由此我們看到Wasserstein距離等於

，

其非線性部分是柱體積的勒讓德變換。

 

 

總結

通過以上討論，我們看到給定兩個概率分布，則存在唯一的一個凸函數（Brenier 勢函數），其梯度映射把一個概率分布映成了另外一個概率分布。這個最優傳輸映射的傳輸代價就給出了兩個概率分布之間的Wasserstein距離。Brenier勢能函數，Wasserstein距離都有明晰的幾何解釋。

 

在Wasserstein-GAN模型中，通常生成器和判別器是用深度神經網絡來實現的。根據最優傳輸理論，我們可以用Briener勢函數來代替深度神經網絡這個黑箱，從而使得整個系統變得透明。在另一層面上，深度神經網絡本質上是在訓練概率分布間的傳輸映射，因此有可能隱含地在學習最優傳輸映射，或者等價地Brenier勢能函數。對這些問題的深入了解，將有助於我們看穿黑箱。

 

圖10. 基於二維最優傳輸映射計算的曲面保面積參數化（area preserving parameterization），蘇政宇作。

圖11. 基於三維最優傳輸映射計算的保體積參數化 （volume preserving parameterization），蘇科華作。

 

（在2016年，老顧撰寫了多篇有關最優傳輸映射的博文，非常欣慰地看到這些文章啟發了一些有心的學者，發表了SIGGRAPH論文，申請了NSF基金。感謝大家關注老顧談幾何，希望繼續給大家靈感。）

 

參考資料

[1]Arjovsky, M. & Bottou, L.eon (2017) Towards Principled Methods for Training Generative Adversarial Networks

[2] Arjovsky, M., Soumith, C. & Bottou, L.eon (2017) Wasserstein GAN.

[3] Xianfeng Gu, Feng Luo, Jian Sun and Shing-Tung Yau, Variational Principles forMinkowski Type Problems, Discrete Optimal Transport, and Discrete Monge-Ampere
Equations, Vol. 20, No. 2, pp. 383-398, Asian Journal of Mathematics (AJM), April 2016.

 

 

 

 

 

---