高斯分布是一類非常重要的概率分布，在概率統計，機器學習中經常用到。
一維高斯分布
一維高斯分布的概率密度函數（pdf）形式為：
紅色的曲線是標准的正態分布，即均值為0，方差為1的正態分布。
我們可以采用以下方程從均值為 μ 標准差為 σ 的高斯分布中采樣（再參數化技巧）:
其中，ϵ 從一個標准高斯分布中采樣。
多維/多變量高斯分布
正態分布的概念可以擴展到一個以上的維度——k維的一般多元正態分布的概率密度函數如下:
其中，|Σ|為協方差矩陣的行列式。
在2D中，均值向量μ和對稱的協方差矩陣Σ定義為：
其中ρ是兩個維度x1和x2之間的相關系數。
各向同性的高斯分布
各向同性的高斯分布（球形高斯分布）指的是各個方向方差都一樣的多維高斯分布，協方差為正實數與identity matrix相乘。
因為高斯的circular symmetry，只需要讓每個軸上的長度一樣就能得到各向同性，也就是說分布密度值僅跟點到均值距離相關，而不和方向有關。
各向同性的高斯每個維度之間也是互相獨立的，因此密度方程可以寫成幾個1維度高斯乘積形式。要注意的是，幾個高斯分布乘在一起得到各向同性，但幾個Laplace分布相乘就得不到各向同性！
此類高斯分布的參數個數隨維度成線性增加，只有均值在增加，而方差是一個標量，因此對計算和存儲量的要求不大，因此非常討人喜歡~
其中， Σ = σI, I為單位陣，σ為標量。
兩個多元高斯分布之間的KL散度的解析表示
根據上述引理，可推導出兩個多元高斯分布之間的KL散度的解析表示：
具有對角協方差矩陣的多元高斯分布與多元標准高斯分布間的KL散度
對角形式的協方差矩陣 Σ = diag(σ2), σ為標准差向量。
具有對角協方差矩陣的高斯分布每個維度之間也是互相獨立的，因此密度方程也可以寫成幾個1維度高斯乘積形式。
一種直觀的解釋方式：
注意到，密度方程可以寫成幾個1維度高斯乘積形式，
最后的結果是各個維度結果的加和。
復數高斯分布
隨機變量是復數時，定義以下復高斯分布：
當mu=0時，該分布是圓對稱的（對於x的相位偏移具有不變性）。
參考：