上節我們通過四種方式定義了一個服從多維正態分布的隨機向量，而這一節我們開始討論隨機向量的獨立性和條件分布。
- 將\(p\)維隨機向量\(X\sim N_p(\mu,\Sigma)\)進行分割：
\[X= \left[ \begin{array}{c} X^{(1)}_r\\ X^{(2)}_{p-r} \end{array} \right]， \mu= \left[ \begin{array}{c} \mu^{(1)}_r\\ \mu^{(2)}_{p-r} \end{array} \right]， \Sigma= \left[ \begin{array}{c|c} \Sigma_{11} &\Sigma_{12}\\ \hline \Sigma_{21} &\Sigma_{22} \end{array} \right]>0，(\Sigma_{11}為r\times r方陣) \]
一、獨立性
設 \(p\) 維隨機向量 \(X\sim N_p(\mu,\Sigma)\),
\[X= \left[ \begin{array}{c} X^{(1)}\\ X^{(2)} \end{array} \right]\sim \left( \left[ \begin{array}{c} \mu^{(1)}\\ \mu^{(2)} \end{array} \right]， \left[ \begin{array}{cc} \Sigma_{11} &\Sigma_{12}\\ \Sigma_{21} &\Sigma_{22} \end{array} \right] \right) \]則
\[X^{(1)}與 X^{(2)}相互獨立\ \leftrightarrows\ \Sigma_{12}=O \]
- 這則充要條件說的是，對於一個服從正態分布的隨機向量，若將其划分為兩部分，那兩個子量互不相關的充要條件是他們的協方差為\(O\).
(證明)
設\(\Sigma_{12}=O\)，則\(X\)的聯合密度函數為：
\[\begin{align} f(x^{(1)},x^{(2)})=& \frac1{(2\pi)^{p/2}|\Sigma|^{1/2}}exp\left(-\frac12(x-\mu)' \left[ \begin{array}{cc} \Sigma_{11}&O\\ O&\Sigma_{22} \end{array} \right]^{-1} (x-\mu) \right)\\ =& \frac1{(2\pi)^{r/2}|\Sigma_{11}|^{1/2}}exp\left(-\frac12(x^{(1)}-\mu^{(1)})' \Sigma_{11}^{-1} (x^{(1)}-\mu^{(1)}) \right)\\ &\cdot \frac1{(2\pi)^{(p-r)/2}|\Sigma_{22}|^{1/2}}exp\left(-\frac12(x^{(2)}-\mu^{(2)})' \Sigma_{22}^{-1} (x^{(2)}-\mu^{(2)}) \right)\\ =&f_1(x^{(1)})\cdot f_2(x^{(2)}) \end{align} \]因此\(X^{(1)},X^{(2)}\)相互獨立。
(推論)
- 設\(r_i\geq1,(i=1,\dots,k)\),且\(r_1+r_2+\dots+r_k=p\),則有
\[X= \left[ \begin{array}{c} X^{(1)}\\ \vdots\\ X^{(k)} \end{array} \right]\sim N_p \left( \left[ \begin{array}{c} \mu^{(1)}\\ \vdots\\ \mu^{(k)} \end{array} \right]， \left[ \begin{array}{ccc} \Sigma_{11} &\cdots &\Sigma_{1k}\\ \vdots&&\vdots\\ \Sigma_{k1} &\cdots &\Sigma_{kk} \end{array} \right]_{p\times p} \right) \]
則\(X^{(1)},X^{(2)},\dots,X^{(k)}\)相互獨立 \(\leftrightarrows\) \(\Sigma_{ij}=O,(i\neq j)\).
- 設\(X=(X_1,\dots,X_p)'\sim N_p(\mu,\Sigma)\),若\(\Sigma\)為對角矩陣，則\(X_1,\dots,X_p\)相互獨立。
二、條件分布
對於一個二元正態分布，由條件分布的定義我們知道：當\(X_2\)給定時，\(X_1\)的條件密度為：
\[f_1(x_1|x_2)=\frac{f(x_1,x_2)}{f_2(x_2)} \]
由於我們還不知道\(f(x_1|x_2)\)的通式，但由二元正態分布的聯合密度函數我們有：
\[f(x_1,x_2) =(*)\\ =\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}exp\left\{-\frac{1}{2(1-\rho^2)}[(\frac{x_1-\mu_1}{\sigma_1})^2-2\rho(\frac{x_1-\mu_1}{\sigma_1})(\frac{x_2-\mu_2}{\sigma_2})+(\frac{x_2-\mu_2}{\sigma_2})^2]\right\} \]
簡單變形，在指數項內\(\left(+\rho^2(\frac{x_2-\mu_2}{\sigma_2})^2-\rho^2(\frac{x_2-\mu_2}{\sigma_2})^2\right)\)則可得：
\[(*)=\frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}exp\left\{-\frac{1}{2(1-\rho^2)}[(\frac{x_1-\mu_1}{\sigma_1})^2-2\rho(\frac{x_1-\mu_1}{\sigma_1})(\frac{x_2-\mu_2}{\sigma_2})\\+(1-\rho^2)(\frac{x_2-\mu_2}{\sigma_2})^2+\rho^2(\frac{x_2-\mu_2}{\sigma_2})^2]\right\} \]
由指數運算性質，我們可以將\(Exp\left[-\frac1{2(1-\rho^2)}(1-\rho^2)(\frac{x_2-\mu_2}{\sigma_2})^2\right]\)項提出:
\[(*)=\frac{1}{\sqrt{2\pi}\sigma_2}exp\left\{-\frac{1}{2}(\frac{x_2-\mu_2}{\sigma_2})^2\right\}\\ \cdot\frac{1}{\sqrt{2\pi}\sigma_1\sqrt{1-\rho^2}}exp\left\{-\frac{1}{2(1-\rho^2)}[(\frac{x_1-\mu_1}{\sigma_1})^2-2\rho(\frac{x_1-\mu_1}{\sigma_1})(\frac{x_2-\mu_2}{\sigma_2})+\rho^2(\frac{x_2-\mu_2}{\sigma_2})^2]\right\}\\ \]
可以看到第一項就是服從\(X_2\sim N(\mu_2,\sigma_2^2)\)的一元概率密度函數\(f_2(x_2)\),而第二項經過簡單整理可以得出下式：
\[(*)=f_2(x_2)\cdot\frac{1}{\sqrt{2\pi}\sigma_1\sqrt{1-\rho^2}}\cdot exp\left\{-\frac{1}{2(1-\rho^2)}[(\frac{x_1-\mu_1}{\sigma_1})-\rho(\frac{x_2-\mu_2}{\sigma_2})]^2\right\} \]
由於\(k^2(a+\frac{a}{k})^2=(ka+b)^2\)，經過簡單整理得：
\[(*)=f_2(x_2)\cdot\frac{1}{\sqrt{2\pi}\sigma_1\sqrt{1-\rho^2}}\cdot exp\left\{-\frac{1}{2(1-\rho^2)\sigma_1^2}[x_1-\mu_1-\rho\frac{\sigma_1}{\sigma_2}(x_2-\mu_2)]^2\right\}\\ \]
於是我們得到了二元正態分布全概率公式：
\[f(x_1,x_2)=f_2(x_2)\cdot f(x_1|x_2) \]
其中，\(f(x_1|x_2)\)為給定\(x_2\)條件下，\(x_1\)的條件概率密度函數:
\[f(x_1|x_2)=\frac{1}{\sqrt{2\pi}\sigma_1\sqrt{1-\rho^2}}\cdot exp\left\{ -\frac{1}{2(1-\rho^2)\sigma_1^2}[x_1-\left(\mu_1 +\rho\frac{\sigma_1}{\sigma_2}(x_2-\mu_2)\right)]^2 \right\}\\ \]
則可以得到\((X_1|X_2)\)服從正態分布，且：
\[(X_1|X_2)\sim N_1\left(\mu_1+\rho\frac{\sigma_1}{\sigma_2}(x_2-\mu_2)，\sigma^2(1-\rho^2)\right) \]
將其推廣到多維：
設
\[X= \left[ \begin{array}{c} X^{(1)}_r\\ X^{(2)}_{p-r} \end{array} \right]\sim N_p(\mu,\Sigma)，(\Sigma>0) \]則當\(X^{(2)}\)給定時，\(X^{(1)}\)的條件分布為：
\[(X^{(1)}|X^{(2)})\sim N_r(\mu_{1\cdot2}，\Sigma_{11\cdot2}) \]其中
\[\mu_{1\cdot2}=\mu^{(1)}+\Sigma_{12}\Sigma_{22}^{-1}(x^{(2)}-\mu^{(2)})\\ \Sigma_{11\cdot2}=\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21} \]
下附證明，而這段證明對於做題事實上非常具有啟發性，后面會附上書上的一道課后習題：
(引理-\(\Sigma\)的分塊求逆公式)
\[\left[ \begin{array}{c|c} \Sigma_{11}&\Sigma_{12}\\\hline \Sigma_{21}&\Sigma_{22} \end{array} \right]^{-1} =\Sigma^{-1}=\left[ \begin{array}{c|c} \Sigma_{11.2}^{-1}&-\Sigma_{11.2}^{-1}\Sigma_{12}\Sigma_{22}^{-1}\\\hline -\Sigma_{22}^{-1}\Sigma_{21}\Sigma_{11.2}^{-1}&\Sigma_{22}^{-1}+\Sigma_{22}^{-1}\Sigma_{21}\Sigma_{11.2}^{-1}\Sigma_{12}\Sigma_{22}^{-1} \end{array} \right] \]
其中：\(\Sigma_{11.2}=\Sigma_{11}-\Sigma_{12}\Sigma_{22}^{-1}\Sigma_{21}\).
(證明)
我們若想求出\((X^{(1)}|X^{(2)})\)的分布只需要構造出其概率其密度函數，而由條件分布的定義可知：
\[f(X_1,X_2)=f(X_1|X_2)f(X_2) \]
而我們可以通過求解二元條件分布的時候使用的方法一樣，通過構造一個非奇異的線性變換：
\[\begin{align} Z=\left[\begin{array}{c}Z^{(1)}\\Z^{(2)}\end{array}\right]=&\left[\begin{array}{c}X^{(1)}-\Sigma_{12}\Sigma_{22}^{-1}X^{(2)}\\X^{(2)}\end{array}\right]\\ =&\left[\begin{array}{c|c}I_r&-\Sigma_{12}\Sigma_{22}^{-1}\\\hline O&I_{p-r}\end{array}\right]\left[\begin{array}{c}X^{(1)}\\X^{(2)}\end{array}\right]\\ =&BX \end{align} \]
則我們可以得出\(Z\sim N_p(B\mu,B\Sigma B')\),即：
\[\begin{align} B\Sigma B'=&\left[\begin{array}{c|c}I_r&-\Sigma_{12}\Sigma_{22}^{-1}\\\hline O&I_{p-r}\end{array}\right]\left[ \begin{array}{c|c} \Sigma_{11}&\Sigma_{12}\\\hline \Sigma_{21}&\Sigma_{22} \end{array} \right]\left[\begin{array}{c|c}I_r&O\\\hline -\Sigma_{12}\Sigma_{22}^{-1}&I_{p-r}\end{array}\right]\\ =&\left[\begin{array}{c|c}\Sigma_{11.2}&O\\\hline O&\Sigma_{22}\end{array}\right] \end{align} \]
於是我們可以得出\(Z^{(1)},Z^{(2)}\)相互獨立的結論，於是就可以寫出\(Z\)的聯合密度函數\(g(z^{(1)},z^{(2)})\),同時應注意到\(Z^{(2)}=X^{(2)}\)：
\[g(z^{(1)},z^{(2)})=g_1(z^{(1)})g_2(z^{(2)})=g_1(z^{(1)})f_2(z^{(2)}) \]
另外，因為\(Z=BX\),利用雅可比行列式，我們可以用\(g(z)\)來表示\(X\)的密度函數\(f(x)\):
\[\begin{align} f(x^{(1)},x^{(2)})=&g(Bx)\cdot J(z\to x)\\ =&g_1(x^{(1)}-\Sigma_{12}\Sigma_{22}^{-1}x^{(2)})f_2(x^{(2)}) \end{align} \]
再次我們進行總結：
- 我們構造了一個非奇異線性變換，並且證明了\(Z\)是服從正態分布的隨機變量，而且\(Z^{(1)},Z^{(2)}=X^{(2)}\)相互獨立；
- 還是通過線性變換的性質，我們借助雅可比行列式，將\(X,Z\)的密度函數建立起了等式關系。
於是我們通過條件分布的定義，可以輕松寫出變量\((X_1|X_2)\)的密度函數為：
\[\begin{align} f_1(x^{(1)}|x^{(2)})=&\frac{f(x^{(1)},x^{(2)})}{f_2(x^{(2)})}=g_1(x^{(1)}-\Sigma_{12}\Sigma_{22}^{-1}x^{(2)})\\ =&\frac{1}{(2\pi)^{r/2}|\Sigma_{11.2}|^{1/2}}Exp\left[-\frac12(x^{(1)}-\mu_{1.2})'\Sigma_{11.2}^{-1}(x^{(1)}-\mu_{1.2})\right] \end{align} \]
由定義得知，該式符合正態分布，即：
\[(X^{(1)}|X^{(2)})\sim N_r(\mu_{1.2},\Sigma_{11.2}) \]
重要推論！！
- \(X^{(1)}-\Sigma_{12}\Sigma_{22}^{-1}X^{(2)}\)與\(X^{(2)}\)相互獨立；
- \(X^{(2)}-\Sigma_{21}\Sigma_{11}^{-1}X^{(1)}\)與\(X^{(1)}\)相互獨立；
- \((X^{(2)}|X^{(1)})\sim N_{p-r}(\mu_{2.1},\Sigma_{22.1})\)且
\[\mu_{2.1}=\mu^{(2)}+\Sigma_{21}\Sigma_{11}^{-1}(x^{(1)}-\mu^{(1)})\\ \Sigma_{22.1}=\Sigma_{22}-\Sigma_{21}\Sigma_{11}^{-1}\Sigma_{12} \]