多元/多維高斯/正態分布概率密度函數推導 (Derivation of the Multivariate/Multidimensional Normal/Gaussian Density)

作者：凱魯嘎吉 - 博客園 http://www.cnblogs.com/kailugaji/

    當年在學《概率論與數理統計》時，遇到二元正態分布的概率密度函數，那個公式特別長，當時只是要求記住，並未深究其原因，今天終於有機會好好回顧一下了。二元/二維只是多元的一個特例，現在將問題延伸到多元/多維高斯/正態分布概率密度函數的推導上。多元高斯分布在很多場景下都有用，比如高斯混合模型(Gaussian Mixture Model)中，每個組件都是單個多元高斯分布，樣本不僅是一維的，現實中大多是數據樣本都是多維的。只有真正弄清楚公式的來龍去脈，來能更好的編寫程序，進行實現(雖然很多包都是現成的，不需要自己從頭編寫)。想要推導概率密度函數公式，需要知道線性代數中矩陣論的一些基礎知識，從單變量到二元/二維再延伸到多元/多維，本身就涉及到從標量到向量再到矩陣的一個過程。這篇博客詳細推導了多元/多維高斯/正態分布概率密度函數公式，並應用到二維高斯分布中，進行進一步分析。也給出了當維度之間獨立同分布(Independent identically distributed, i.i.d.)情況下多維高斯分布的概率密度函數的特例。值得注意的是，整個過程僅是對一個樣本進行計算，該樣本無論是一個標量，還是一個多維向量，最終出來的概率密度函數都是一個數(標量)。如果有N個樣本(按列排開)的話，其概率密度函數就是N維列向量。注意：多元就是多維，高斯分布就是正態分布。(只是大概推導，過程可能並不嚴謹，望海涵)

1. 前提基礎

    包括連續隨機變量變換法(Transformations of Continuous Random Variables)，單變量正態分布的概率密度函數(Univariate Normal Density)，以及隨機變量間的獨立性(Independence of Random Variables)。

2. 多維高斯分布的概率密度函數定義及其推導

3. 多維高斯分布的概率密度函數(維度之間獨立同分布)

4. 二維高斯分布的概率密度函數定義及其推導

5. 參考文獻

[1] 茆詩松, 程依明, 濮曉龍. 概率論與數理統計教程. 高等教育出版社, 2011.

[2] The Multivariate Normal Distribution http://www.randomservices.org/random/special/MultiNormal.html

[3] Basic Multivariate Normal Theory http://www2.stat.duke.edu/~st118/sta732/mvnormal.pdf

[4] 凱魯嘎吉 - 博客園 - 左邊欄搜索"高斯"相關博文 https://zzk.cnblogs.com/my/s/blogpost-p?Keywords=%E9%AB%98%E6%96%AF