正態分布的密度函數,可以一般化地寫為
\[f(x) = k \exp\left[-\dfrac{1}{2}(x-b)' A (x-b)\right] \]
事實上,如果某個多維隨機變量的密度函數可以寫成該形式,那么它就服從正態分布。其中\(b\)是均值,正定矩陣\(A\)是協方差矩陣的逆,它們共同決定的正態分布的形式。而另外一個字母\(k\),僅僅是歸一化系數,它是滿足整個密度函數的積分等於\(1\)的那個值。
如果有人背過公式,會發現這個系數的形式比較復雜。本文具體來看看,它是怎么計算出來的。
由於\(A\)是正定的,必有分解\(A=CC'\)。先做個變換,令\(x-b=(C')^{-1}y\),那么
\[(x-b)' A (x-b) = y' C^{-1}A(C')^{-1}y = y'y \]
同時,該變換的Jacobian matrix為\(J = \det [(C')^{-1}]=1/\det(C)\)。
假設\(x\)是\(d\)維,則\(y\)也是\(d\)維,將其各維寫出,有\(y = (y_1,\cdots,y_d)'\)。接下來,對密度函數進行積分:
\[\begin{aligned} &\int_{-\infty}^{\infty} \cdots \int_{-\infty}^{\infty} f(x) dx_1 \cdots dx_d\\ =& \int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty} k\exp(-\dfrac{1}{2}y'y) |J| dy_1 \cdots dy_d\\ =& \dfrac{k}{|\det(C)|} \int_{-\infty}^{\infty}\cdots\int_{-\infty}^{\infty} \prod_{i=1}^{d}\exp(-\dfrac{1}{2} y_i^2) dy_1 \cdots dy_d\\ =& \dfrac{k}{|\det(C)|} \prod_{i=1}^{d} \int_{-\infty}^{\infty} \exp(-\dfrac{1}{2} y_i^2) dy_i \\ =& \dfrac{k}{|\det(C)|} \prod_{i=1}^{d} \sqrt{2\pi} \\ =& \dfrac{k}{|\det(C)|} (2\pi)^{d/2} \\ =& k [\det(A)]^{-1/2} (2\pi)^{d/2} \end{aligned} \]
上述積分必定等於\(1\),因此,
\[k=(2\pi)^{-d/2} [\det(A)]^{1/2} \]