正態分布的條件分布與邊緣分布


本文總結多元正態分布的條件分布與邊緣分布,證明不難,但都比較繁瑣,故不做詳細證明,有興趣可以參考Pattern Recognition and Machine Learningy一書。

1 正態分布的條件分布

對於聯合正態分布變量\(x\sim N(\mu,\Sigma)\),定義精度矩陣(the precision matrix)為協方差矩陣的逆,即\(\Lambda\equiv \Sigma^{-1}\),做分塊處理:

\[x=\begin{bmatrix} x_a \\ x_b \end{bmatrix}, \mu=\begin{bmatrix} \mu_a \\ \mu_b \end{bmatrix},\Sigma=\begin{bmatrix} \Sigma_{aa} &\Sigma_{ab} \\ \Sigma_{ba}& \Sigma_{bb} \end{bmatrix}, \Lambda=\begin{bmatrix} \Lambda_{aa} &\Lambda_{ab} \\ \Lambda_{ba}& \Lambda_{bb} \end{bmatrix} \]

那么,條件分布

\[p(x_a|x_b)=N(\mu_{a|b}, \Lambda^{-1}) \]

其中

\[\mu_{a|b}=\mu_a-\Lambda_{aa}^{-1} \Lambda_{ab}(x_b-\mu_b) \]

如何證明?證明的關鍵在於,對於正態分布的密度函數來說,它的指數項都可以寫作

\[-\dfrac{1}{2}(x-\mu)'\Sigma^{-1}(x-\mu)=-\dfrac{1}{2}x'\Sigma^{-1}x+x'\Sigma^{-1}\mu+C \]

其中\(C\)是常數項。

因此,只需將聯合分布的密度函數展開,再將其關於\(x_a\)的二次項、一次項整理出來,利用其系數即可得到\(\Sigma^{-1}\)\(\mu\)的表達式。

2 正態分布的邊緣分布

按與上一節同樣的設定,\(x_a\)的邊緣分布為

\[p(x_a)=N(x_a| \mu_a, \Sigma_{aa}) \]

如何證明?只需將原來的密度函數對\(x_b\)積分即可,利用配方,積分並不困難。

或者,取\(A=[I,0]\),則有\(Ax=x_a\sim N(A\mu,A\Sigma A')\),展開后即可直接得到上面的結果。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM