21/8/25 讀書筆記 多元正態分布

21/8/25 讀書筆記

目錄

• 21/8/25 讀書筆記
  • 程序員的數學2 多元正態分布

程序員的數學2 多元正態分布

假設\(\bold Z=(z_1,z_2,...,z_k)^T\)​​​是k個隨機變量組成的列向量，設\(g=c\exp(-\frac{z_i^2}{2})\)​是\(z_i\)​的概率密度函數（即\(z_i\)​滿足標准正態分布），那么得到\(\bold Z\)​的概率密度函數為:

\[f_{\bold Z}(\bold z)=c\exp(-\frac{z_1^2}{2})\cdot c\exp(-\frac{z_1^2}{2})...c\exp(-\frac{z_i^2}{2})\\=d\exp(-\frac{1}{2}||\bold z||^2) \]

由此我們發現，多元正態分布的概率密度僅僅與向量\(\bold z\)​的長度有關，因此其概率密度的等高線是圓形（二元情況下）：

我們令標准正態分布\(\bold Z\)經過以下變換，成為\(\bold X\)​：

\[\bold X=D\bold Z, D \equiv\left(\begin{array}{lll} \sigma_{1} & & \\ & \ddots & \\ & & \sigma_{n} \end{array}\right) \]

發現\(\bold X\)成功實現了不同方向上的縮放，各坐標軸縮放倍率恰為\(D\)中對角元素：

我們常用正交矩陣的乘法運算來表示旋轉運算，假設一個選擇后的多元正態分布為$\bold R$： $$ \bold R = QD\bold Z（Q是正交矩陣，D是對角矩陣） \\ E[\bold R]=QE[D\bold Z]=\bold o \\ V[\bold R]=QV[D\bold Z]Q^T=QD^2Q^T $$ 如果我們已知$V[\bold R]$，由於協方差矩陣一定是對稱矩陣，因此我們可以求出$V[\bold R]$的特征向量，單位化后組成的正交矩陣作為$Q$，然后求出$D$，因此我們就能夠得到$\bold R$和標准正態分布$\bold Z$​之間的轉換關系。

對於任意一個多元正態分布\(\bold R=QD\bold Z=A\bold Z\)​（注意這里的Q和D分別對應旋轉和縮放，沒有嚴格前后順序，故組成變換矩陣A，注意A是一個正規矩陣），我們可以得到其概率密度函數的形式：

\[f_{\bold R}(\bold r)=\frac{1}{|\det\bold A|}f_\bold Z(z)(A^{-1}\bold r)=\frac{1}{|\det\bold A|}\cdot \frac{1}{\sqrt{2\pi}^n}\exp(-\frac{1}{2}||A^{-1}\bold r||^2) \\ V[A\bold Z]=AV[\bold Z] A^T=AIA^T=AA^T,\det V=(\det A)^2 \\ ||A^{-1}\bold r||^2=\bold r^T(A^{-1})^TA^{-1}\bold r=\bold r^TV^{-1}\bold r \]

對於一個方陣\(A\)，有\(AA^T=A^TA\)，則\(A\)​稱為正規矩陣。

如果考慮上位移變化，即期望值不為零的情況，則可以得出所有的多元正態分布的概率密度函數滿足以下的形式：

\[f(\bold x)=\frac{1}{\sqrt{(2\pi)^n\det V}}\exp\left(-\frac{1}{2}(\bold x-\bold \mu)^TV^{-1}(\bold x-\bold \mu)\right) \]

多元正態分布具有非常良好的性質：

• 給定期望值向量和協方差矩陣即可確定具體分布
• 如果隨機變量互不相關，則一定相互獨立
  • 如果分布在兩個變量組成的平面上表現的橢圓是傾斜的（橢圓主軸不平行於坐標軸），那么則兩個變量相關。
• 線性變換后仍然保持多元正態分布
• 條件分布與邊緣分布仍然是多元正態分布

條件分布可以考慮成“截面”，固定某些變量的值；邊緣分布可以考慮成“投影”，忽略某些變量的影響。