多元高斯分布

讓我們回到小球檢測的栗子，在一元高斯分布下，我們只使用了色相值這一個性質。然而，顏色其實是用多個維度來定義的。比如，在HSV模型下，除了色相值還有飽和度（Saturation）和亮度（Value）。而我們通常使用的三原色光模式（RGB模型）將顏色表示成紅色（R）、綠色（G）和藍色（B）的疊加。如果我們用RGB值來表示一個顏色，怎樣表示我們栗子中的小球呢？我們將圖片中所有像素點的RGB值用散點圖的形式畫出來可以得到下面的圖：

那我們怎樣對這種圖形進行建模呢？如這一節的題目所說，我們將一元高斯分布擴展到多元高斯分布並對RGB值進行建模。
讓我們首先來介紹多元高斯分布的數學形式吧：

多元高斯分布和一元高斯分布是十分相似的，我們用加粗的來表示變量（一個向量），表示維度（元的數目），加粗的表示平均向量，大寫的表示協方差矩陣（Covariance Matrix，是一個方陣），表示的行列式值，表示矩陣的轉置。

值得一提的是協方差矩陣，它由兩部分組成，方差（Variance）和相關性（Correlation），對角線上的值表示方差，非對角線上的值表示維度之間的相關性。拿一個二維協方差矩陣作栗子：

 

其中，對角線上的和分別表示變量和的獨立方差，非對角線上的表示兩個變量之間的相關性（注意和是相等的）。

 

回到小球檢測的栗子，我們考慮用RGB來對“紅色”小球進行多元高斯分布的建模，那么各個參數就如下圖所示了：

 

我們來看一下標准二元高斯分布圖：

 

 

2、求解多元高斯分布：最大似然估計

和求解一元高斯分布類似，我們將問題描述為：給定觀測值，求和，使得似然函數最大：

同樣，假設觀測值兩兩相互獨立，根據獨立概率公式，我們有：

同樣（1）取對數，（2）將多元高斯分布的形式帶入，我們有：

我們給目標函數做個記號，令

我們仍然分別對和求偏導來計算和。（這里需要矩陣求導的知識，可以參考Matrix Calculus Manual）

求得，