MMD ：maximum mean discrepancy(最大平均差異)
MMD：maximum mean discrepancy。最大平均差異。最先提出的時候用於雙樣本的檢測（two-sample test）問題，用於判斷兩個分布p和q是否相同。它的基本假設是：如果對於所有以分布生成的樣本空間為輸入的函數f，如果兩個分布生成的足夠多的樣本在f上的對應的像的均值都相等，那么那么可以認為這兩個分布是同一個分布。現在一般用於度量兩個分布之間的相似性。在[1]中從任意空間到RKHS上介紹了MMD的計算，這里根據這個順序來介紹。
1.任意函數空間（arbitary function space）的MMD
具體而言，基於MMD（maximize mean discrepancy）的統計檢驗方法是指下面的方式：基於兩個分布的樣本，通過尋找在樣本空間上的連續函數f，求不同分布的樣本在f上的函數值的均值，通過把兩個均值作差可以得到兩個分布對應於f的mean discrepancy。尋找一個f使得這個mean discrepancy有最大值，就得到了MMD。最后取MMD作為檢驗統計量（test statistic），從而判斷兩個分布是否相同。如果這個值足夠小，就認為兩個分布相同，否則就認為它們不相同。同時這個值也用來判斷兩個分布之間的相似程度。如果用F表示一個在樣本空間上的連續函數集，那么MMD可以用下面的式子表示：
假設X和Y分別是從分布p和q通過獨立同分布(iid)采樣得到的兩個數據集，數據集的大小分別為m和n。基於X和Y可以得到MMD的經驗估計(empirical estimate)為：
在給定兩個分布的觀測集X,Y的情況下，這個結果會嚴重依賴於給定的函數集F。為了能表示MMD的性質：當且僅當p和q是相同分布的時候MMD為0，那么要求F足夠rich；另一方面為了使檢驗具有足夠的連續性（be consistent in power），從而使得MMD的經驗估計可以隨着觀測集規模增大迅速收斂到它的期望，F必須足夠restrictive。文中證明了當F是universal RKHS上的（unit ball）單位球時，可以滿足上面兩個性質。
2.再生核希爾伯特空間的MMD（The MMD In reproducing kernel Hilbert Spaces）：
這部分講述了在RHKS上單位球（unit ball）作為F的時，通過有限的觀測來對MMD進行估計，並且設立一些MMD可以用來區分概率度量的條件。
在RKHS上，每個f對應一個feature map。在feature map的基礎上，首先對於某個分布p定義一個mean embedding of p，它滿足如下的性質：
mean embedding存在是有約束條件的[1]。在p和q的mean embedding存在的條件下，MMD的平方可以表示如下：
下面是關於MMD作為一個Borel probability measures時，對F的一個約束及其證明，要求F：be a unit ball in a universal RKHS。比如Gaussian和Laplace RKHSs。進一步在給定了RKHS對應核函數，這個MMD的平方可以表示：
x和x’分別表示兩個服從於p的隨機變量，y和y‘分別表示服從q的隨機變量。對於上面的一個統計估計可以表示為：
對於一個two-sample test, 給定的null hypothesis: p和q是相同，以及the alternative hypothesis: p和q不等。這個通過將test statistic和一個給定的閾值相比較得到，如果MMD大於閾值，那么就reject null hypothesis，也就是兩個分布不同。如果MMD小於某個閾值，就接受null hypothesis。由於MMD的計算時使用的是有限的樣本數，這里會出現兩種類型的錯誤：第一種錯誤出現在null hypothesis被錯誤的拒絕了；也就是本來兩個分布相同，但是卻被判定為相同。反之，第二種錯誤出現在null hypothesis被錯誤的接受了。文章[1]中提供了許多關於hypothesis test的方法，這里不討論。
在domain adaptation中，經常用到MMD來在特征學習的時候構造正則項來約束學到的表示，使得兩個域上的特征盡可能相同。從上面的定義看，我們在判斷兩個分布p和q的時候，需要將觀測樣本首先映射到RKHS空間上，然后再判斷。但實際上很多文章直接將觀測樣本用於計算，省了映射的那個步驟。
reference
[1] A kernel two sample test
[2] Optimal kernel choice for large-scale two-sample tests
[3] Deep domain confusion: maximizing for domain invariance
[4] Learning transferable feature with deep adaptation nets
[5] Deep transfer network：Unsupervised domain adaptation
[6] Adaptive visual category models to new domains
[7] Geodesic flow kernel for unsupervised domain adaptation
[8] Transfer sparse coding for robust image representation
---------------------
作者：xiaocong1990
來源：CSDN
原文：https://blog.csdn.net/xiaocong1990/article/details/72051375
版權聲明：本文為博主原創文章，轉載請附上博文鏈接！