概率筆記12——多維正態分布的最大似然估計

　　我們在前面的章節中見識過二維正態分布，(X,Y)服從參數為μ₁, μ₂, σ₁, σ₂, ρ的二維正態分布，記作(X, Y)~N(μ₁, μ₂, σ₁, σ₂, ρ)，它的密度函數：

　　其中μ₁是第1維度的均值，σ₁²是第1維度的方差，ρ是將兩個維度的相關性規范到-1到+1之間的統計量，稱為樣本的相關系數，定義為：

　　對於二維正態隨機變量(X,Y)，X和Y相互獨立的充要條件是二者的協方差為0，也就是參數ρ=0。由於一維隨機變量沒有是否獨立一說，ρ一定是0，因此沒有在一維隨機變量的正態分布中體現ρ。

　　下圖是一個標准二維正態分布和其在x-z，y-z平面的投影：

多維正態分布

　　現在推廣到多維，為了便於表達，我們用向量的形式表示隨機變量和參數，對於n維隨機變量：

　　這里只考慮所有維度變量互相獨立的情況，即ρ=0的情況，此時密度函數可表示為：

　　上面的結果告訴我們，在各維度相互獨立的情況下，多維正態分布的概率密度其實就是各個維度的正態分布密度函數的乘積。

　　在①中：

　　σ_i²表示x_i的方差，如此看來，中間那個矩陣實際上是協方差矩陣的逆矩陣：

　　根據行列式的性質，上三角矩陣的行列式等於主對角線所有元素的乘積，斜對角矩陣當然也是一個上三角矩陣，因此協方差矩陣的行列式是：

　　將②、③代入①中，得到最終結果：

最大似然估計量

　　n維相互獨立的隨機變量x服從正態分布：

　　在求最大似然估計量時和一維隨機變量有所區別，根據上一節的最終結果：

　　假設有m個可觀察樣本，那么最大似然函數是：

　　其對數似然函數是：

　　其中m和n是已知的，C 是一個常數。

　　求極值需要對μ和∑求偏導：

　　μ和∑是矩陣，涉及到矩陣的求導法則。先看對μ的求導，lnL由3個因子組成，只有一個因子含有μ，因此：

　　其中：

　　上式中：

　　因此：

　　將該結論代入∂lnL/∂μ中：

　　μ和∑是矩陣，根據矩陣的求導法則：

　　因為∑^-1是一個對稱矩陣，因此：

　　根據矩陣的求導法則：

　　將a₁，a₂代入∂lnL/∂μ 中：

　　

　　

　　再看對∑求偏導：

　　∑和∑^-1都是實對稱矩陣，根據矩陣的求導法則，當A是實對稱矩陣時：

　　再看b₂。設ω_pq是∑第p行第q列的元素，E_pq是一個第p行第q列元素為1，其它元素全為0的矩陣，E與∑^-1同階。根據矩陣的求導公式：

　　已經知道了∑^-1是一個對稱矩陣，矩陣乘法滿足結合律，在不改變矩陣順序的條件下可以任意加括號：

　　其中(∑^-1(x⁽ⁱ⁾-μ))^T是一個1*n的矩陣，(∑^-1(x⁽ⁱ⁾-μ))^T_p表示矩陣中的第p個元素；∑^-1(x⁽ⁱ⁾-μ)是一個n*1的矩陣，(∑^-1(x⁽ⁱ⁾-μ))_q表示矩陣中的第q個元素。將該結論推廣到矩陣對矩陣的的求導，根據矩陣對矩陣的求導公式：

　　其中：

　　在A₁中，(∑^-1(x⁽ⁱ⁾-μ))^T是一個1*n的矩陣，(∑^-1(x⁽ⁱ⁾-μ))^T_i表示矩陣中的第i個元素，是一個標量；∑^-1(x⁽ⁱ⁾-μ)是一個n*1的矩陣，(∑^-1(x⁽ⁱ⁾-μ))_i表示矩陣中的第i個元素，也是一個標量，因此：

　　終於可以求得b₂了：

　　現在可以看看最終的似然函數：

　　I是單位矩陣，∑^-1I=∑^-1：

　　等號兩側同時左乘∑：

　　兩側同時右乘∑：

　　最終解得：

　　最終結論，多維正態分布的最大似然估計量是：

　　

---

　　作者：我是8位的

　　出處：http://www.cnblogs.com/bigmonkey

　　本文以學習、研究和分享為主，如需轉載，請聯系本人，標明作者和出處，非商業用途！ 

　　掃描二維碼關注公作者眾號“我是8位的”