【1】應用多元統計分析-規范化寫法及前提
一、隨機向量
- \(p\)維隨機向量：把\(p\)個隨機變量放在一起得到：
\[X= \left( \begin{array} {c} X_1\\ X_2\\ \vdots\\ X_p \end{array} \right) \]
- 樣品：若同時對\(p\)個變量做一次觀測，得到觀測值：
\[X_{(1)}= \left( \begin{array} {c} x_{11}\\ x_{12}\\ \vdots\\ x_{1p} \end{array} \right)\to X_{(i)}= \left( \begin{array} {c} x_{i1}\\ x_{i2}\\ \vdots\\ x_{ip} \end{array} \right)，(i=1,2,\dots,n) \]
-
樣本：觀察\(n\)次得到n個樣品構成一個樣本；
- 樣本數據庫：把\(n\)個樣品排成一個\(n\times p\)矩陣，記為
\[X= \left( \begin{array} {cccc} x_{11} & x_{12} & \dots & x_{1p}\\ x_{21} & x_{22} & \dots & x_{2p}\\ \vdots & \vdots & & \vdots \\ x_{n1} & x_{n2} & \dots & x_{np}\\ \end{array} \right)= \left( \begin{array} {c} X'_{(1)}\\ X'_{(2)}\\ \vdots\\ X'_{(n)} \end{array} \right)=(\mathcal{X}_1,\mathcal{X}_2\dots,\mathcal{X}_p) \]
其中\(\mathcal{X}_i\)表示矩陣的第\(i\)列，在觀測后表示對第\(i\)個變量的\(n\)次觀測，觀測前表示一個\(n\)維隨機向量
以后若非特別強調，則以上述定義為准。
1.1 隨機向量的分布
- 聯合分布
稱\(p\)元函數：
\[F(x_1,\dots,x_p)=P\{X_1\leq x_1\dots X_p\leq x_p\} \]
為\(X\)的聯合分布函數；
若存在非負函數\(f=(x_1，\dots，x_p)\)可以使得隨機向量\(X\)的聯合分布函數對一切\((x_1,\dots,x_p)\in\R^p\)均可表示為：
\[F(x_1,\dots,x_p)=\underbrace{\int_{-\infty}^{x_1}\dots\int_{-\infty}^{x_p}}_{共p次}f(x_1,\dots,x_p)dx_1\dots dx_p \]
則稱\(X\)為連續型隨機變量，稱\(f=(x_1，\dots，x_p)\)為\(X\)的聯合概率密度函數，簡稱為多元密度函數，且具備兩條性質：
- （非負性）\(f=(x_1，\dots，x_p)\geq0\) 對 \(\forall{x_1，\dots，x_p}\in\R\);
- （正則性）\(\int_{-\infty}^{x_1}\dots\int_{-\infty}^{x_p}f(x_1,\dots,x_p)dx_1\dots dx_p=1\)
- 邊緣分布
稱隨機向量\(X\)的部分分量\((X_{i_1},\dots,X_{i_m})'，(1\leq m<p),\)為邊緣分布。
設：
\[X=\left[ \begin{array}{C} X^{(1)}_{r}\\ x^{(2)}_{p-r} \end{array} \right] \]則：
\[\begin{align} f_1(x^{(1)}) =&f_1(x_1,\dots,x_r)\\ =&\int_{-\infty}^{\infty}\dots\int_{-\infty}^{\infty}f(x_1,\dots,x_p)dx_{r+1}\dots dx_p \end{align} \]這是因為：
\[\begin{align} f_(x_1,\dots,x_{p-1}) =&\int_{-\infty}^{x_1} \dots \int_{-\infty}^{x_{p-1}} \left[ \int_{-\infty}^{\infty} f(x_1,\dots,,x_{p-1},x_p)dx_p \right] dx_{1}\dots dx_{p-1}\\ =&\int_{-\infty}^{x_1} \dots \int_{-\infty}^{x_{p-1}} f_*(x_1,\dots,,x_{p-1})dx_{1}\dots dx_{p-1}\\ \end{align} \]則若取邊際分布，只需要將不需要的變量，取\(\int_{-\infty}^{\infty}(*)dx_i\)即可
- 條件分布
同上節，對於\(X=[X^{(1)},X^{(2)}]'\),當\(X\)的密度函數為：\(f(x^{(1)},x^{(2)})\)時，給定\(X^{(2)}\)時\(X^{(1)}\)的條件密度為：
\[f(x^{(1)}|\ x^{(2)})=\frac{f(x^{(1)},x^{(2)})}{f_2(x^{(2)})},f_2(x^{(2)})為X^{(2)}關於X的邊緣密度 \]
- 獨立性
對於\(p\)維隨機變量\(X_i\)的分布函數記為：\(F_i(x_i),(i=1,2,\dots p)\),而\(F(X_1,\dots,X_p)\)是\(X\)的聯合分布函數，若對一切實數\(x_1,\dots x_p\):
\[F(X_1,\dots,X_p)=F_1(x_1)\dots F_p(x_p) \]
均成立，則稱\(X_1,\dots,X_p\)相互獨立
1.2 隨機向量的數字特征
- 隨機向量\(X\)的均值向量
若\(E(X_i)=\mu_i\)存在，則：
\[E(X)= \left[ \begin{array}{c} E(X_1)\\ \vdots\\ E(X_p) \end{array} \right] = \left[ \begin{array}{c} \mu_1\\ \vdots\\ \mu_p \end{array} \right] \]
- 隨機向量\(X\)的協方差陣
若\(X_i\)和\(X_j\)的協方差\(Cov(X_i,X_j)\)存在，則稱：
\[\begin{align} D(X)&=E[(X-E(X))(X-E(X))']\\ &= \left[ \begin{array}{cCCC} Cov(X_1,X_1) &Cov(X_1,X_2) &\dots &Cov(X_1,X_p)\\ Cov(X_2,X_1) &Cov(X_2,X_2) &\dots &Cov(X_2,X_p)\\ \vdots\\ Cov(X_p,X_1) &Cov(X_p,X_2) &\dots &Cov(X_p,X_p)\\ \end{array} \right]\\ &=(\sigma_{ij})_{p\times p}\\ ::&=\Sigma \end{align} \]
均值向量和協方差陣的性質
- 設\(X,Y\)為隨機向量，\(A,B\)為常數矩陣，則
- \(E(AXB)=AE(X)B\)
證明：
令\(A_{m\times p}=(\alpha_1,\dots,\alpha_p),X_{p\times1}=(x_1,\dots,x_p)'\)
\[\begin{align} E(AX)=&E\left((\alpha_1,\dots,\alpha_p) \left( \begin{array}{c} x_1\\ \vdots\\ x_p \end{array} \right) \right)\\ (*)=&E(x_1\alpha_1+\dots+x_p\alpha_p)\\ \alpha_i=& \left( \begin{array}{c} \alpha_{1i}\\ \vdots\\ \alpha_{mi} \end{array} \right)， x_i\alpha_i= \left( \begin{array}{c} x_i\alpha_{1i}\\ \vdots\\ x_i\alpha_{mi} \end{array} \right)\\ E(x\alpha_i)=& E\left( \begin{array}{c} x_i\alpha_{1i}\\ \vdots\\ x_i\alpha_{mi} \end{array} \right)\\ =& \left( \begin{array}{c} E(x_i\alpha_{1i})\\ \vdots\\ E(x_i\alpha_{mi}) \end{array} \right)\\ =& \left( \begin{array}{c} \alpha_{1i}E(x_i)\\ \vdots\\ \alpha_{mi}E(x_i) \end{array} \right)\\ =&\alpha_iE(x_i)\\ \therefore(*)=&E(x_1)\alpha_1+\dots+E(x_p)\alpha_p\\ =&(\alpha_1,\dots,\alpha_p)\left( \begin{array}{c} E(x_1)\\ \vdots\\ E(x_p) \end{array} \right)\\ =&AE(X) \end{align} \]
- \(Cov(AX,BY)=ACov(X,Y)B'\)
\[\begin{align} Cov(AX,BY)&=E[(AX-E(AX))(BY-E(BY))']\\ &=E(A(X-E(X))\left[B(Y-E(Y))]'\right)\\ &=E(A(X-E(X))\left[(Y-E(Y))'B']\right)\\ &=AE[(X-E(X))(Y-E(Y))']B'\\ &=ACov(X,Y)B' \end{align} \]
- 若\(X,Y\)相互獨立，則協方差陣為零矩陣，反之不一定成立；(記住就行)
對於\(Cov(X,Y)=E[(X-E(X))(Y-E(Y))']\),
\[\begin{align} E[(X-E(X))(Y-E(Y))'] =& E\left[ \left[ \begin{array}{c} X_1-\mu_1\\ \vdots\\ X_p-\mu_p \end{array} \right] [Y_1-a_1,\dots,Y_q-a_q] \right]\\ =& \left[ \begin{array}{cCCC} Cov(X_1,Y_1) &Cov(X_1,Y_2) &\dots &Cov(X_1,Y_q)\\ Cov(X_2,Y_1) &Cov(X_2,Y_2) &\dots &Cov(X_2,Y_q)\\ \vdots\\ Cov(X_p,Y_1) &Cov(X_p,Y_2) &\dots &Cov(X_p,Y_q)\\ \end{array} \right]\\ =& \left[ \begin{array}{cCC} E(X_1Y_1)-E(X_1)E(Y_1) &\dots &E(X_1Y_q)-E(X_1)E(Y_q)\\ E(X_2Y_1)-E(X_2)E(Y_1) &\dots &E(X_2Y_q)-E(X_2)E(Y_q)\\ \vdots\\ E(X_pY_1)-E(X_p)E(Y_1) &\dots &E(X_pY_q)-E(X_p)E(Y_q)\\ \end{array} \right]\\ =& \left[ \begin{array}{cCCC} E(X_1Y_1) &E(X_1Y_2) &\dots &E(X_1Y_q)\\ E(X_2Y_1) &E(X_2Y_2) &\dots &E(X_2Y_q)\\ \vdots\\ E(X_pY_1) &E(X_pY_2) &\dots &E(X_pY_q)\\ \end{array} \right] \\ &-\left[ \begin{array}{cCCC} E(X_1)E(Y_1) &E(X_1)E(Y_2) &\dots &E(X_1)E(Y_q)\\ E(X_2)E(Y_1) &E(X_2)E(Y_2) &\dots &E(X_2)E(Y_q)\\ \vdots\\ E(X_p)E(Y_1) &E(X_p)E(Y_2) &\dots &E(X_p)E(Y_q)\\ \end{array} \right]\\ =&E(XY')-E(X)[E(Y)]' \end{align} \]當兩個事件獨立的時候，顯然有\(E(XY)=E(X)E(Y)\)，因此\(Cov(X,Y)=O\),因此相互獨立的隨機向量協方差陣為零矩陣。
而反之，不成立。
-
隨機向量的\(X=(X_1,X_2,\dots,X_p)'\)的協方差陣\(D(X)=\Sigma\)是對稱、非負定矩陣；
( i ) 因為\(Cov(X_i,X_j)=Cov(X_j,X_i)\),因此
\[\Sigma=\Sigma' \](ii) 對任給\(\alpha=(\alpha_1,\alpha_2,\dots,\alpha_p)'\)，有
\[\begin{align} \alpha'\Sigma\alpha &=(\alpha_1,\alpha_2,\dots,\alpha_p)' E[(X-E(X))(Y-E(Y))'] \left[ \begin{array}{c} \alpha_1\\ \alpha_2\\ \vdots\\ \alpha_p \end{array} \right]\\ &=E[\alpha'(X-E(X))(Y-E(Y))'\alpha]\\ &=E[\alpha'(X-E(X))[\alpha'(Y-E(Y))]']\\ &=E\left[[\alpha'(Y-E(Y))]^2\right]\geq0\\ \end{align} \]因此\(\Sigma\)為非負定矩陣。
-
\(\Sigma=L^2\)，其中\(L\)為非負定矩陣。
由於\(\Sigma\)為非負定矩陣，由（實對稱矩陣對角化）定理，存在正交矩陣\(\Gamma\)，s.t.:
\[\begin{align} \Sigma =&\Gamma\ diag(\lambda_i)\Gamma'，\lambda_i\geq0\\ =&\Gamma\ diag(\sqrt{\lambda_i}\ )\Gamma'\cdot\Gamma\ diag(\sqrt{\lambda_i}\ )\Gamma'\\ (L::=&\Gamma\ diag(\sqrt{\lambda_i}\ )\Gamma')\\ 則\Sigma=&L^2,且L=\Gamma\ diag(\sqrt{\lambda_i}\ )\Gamma'=L'\geq0 \end{align} \]當\(\Sigma\)正定時，矩陣\(L\)也成為其平方根矩陣，記為\(\Sigma^{1/2}\)；若令\(A=\Gamma\ diag(\sqrt{\lambda_i}\ )\),則\(\Sigma\)還有如下分解：
\[\Sigma=AA' \]A為非退化方陣。
-
隨機向量\(X\)和\(Y\)的協方差陣
同理可以定義隨機向量\(X\)和\(Y\)的協方差陣\[\begin{align} Cov(X,Y)&=E[(X-E(X))(Y-E(Y))']\\ &= \left[ \begin{array}{cCCC} Cov(X_1,Y_1) &Cov(X_1,Y_2) &\dots &Cov(X_1,Y_q)\\ Cov(X_2,Y_1) &Cov(X_2,Y_2) &\dots &Cov(X_2,Y_q)\\ \vdots\\ Cov(X_p,Y_1) &Cov(X_p,Y_2) &\dots &Cov(X_p,Y_q)\\ \end{array} \right]\\ \end{align} \]若\(Cov(X,Y)=O\)則稱，\(X，Y\)不相關。
-
隨機向量\(X\)的相關陣
若\(X_i\)和\(Y_i\)的協方差\(Cov(X_i,Y_i)\)存在，則稱\(R=(r_{ij})_{p\times p}\)為\(X\)的相關陣，
\[r_{ij}=\frac{\sigma_{ij}}{\sqrt{\sigma_{ii}\sigma_{jj}}}=\frac{Cov(X_i,X_j)}{\sqrt{Var(X_i)}\sqrt{Var(X_j)}} \]
若記：
\[V^{1/2}= \left[ \begin{array}{cccc} \sqrt{\sigma_{11}} &0 &\dots &0\\ 0 &\sqrt{\sigma_{22}}&\dots &0\\ 0 &0 &\dots &0\\ 0 &\dots &0&\sqrt{\sigma_{pp}} \\ \end{array} \right]=diag(\sqrt{\sigma_{ii}}) \]
為標准差矩陣，則：
\[\Sigma=V^{1/2}RV^{1/2} \]