【1】应用多元统计分析-规范化写法及前提
一、随机向量
- \(p\)维随机向量：把\(p\)个随机变量放在一起得到：
\[X= \left( \begin{array} {c} X_1\\ X_2\\ \vdots\\ X_p \end{array} \right) \]
- 样品：若同时对\(p\)个变量做一次观测，得到观测值：
\[X_{(1)}= \left( \begin{array} {c} x_{11}\\ x_{12}\\ \vdots\\ x_{1p} \end{array} \right)\to X_{(i)}= \left( \begin{array} {c} x_{i1}\\ x_{i2}\\ \vdots\\ x_{ip} \end{array} \right)，(i=1,2,\dots,n) \]
-
样本：观察\(n\)次得到n个样品构成一个样本；
- 样本数据库：把\(n\)个样品排成一个\(n\times p\)矩阵，记为
\[X= \left( \begin{array} {cccc} x_{11} & x_{12} & \dots & x_{1p}\\ x_{21} & x_{22} & \dots & x_{2p}\\ \vdots & \vdots & & \vdots \\ x_{n1} & x_{n2} & \dots & x_{np}\\ \end{array} \right)= \left( \begin{array} {c} X'_{(1)}\\ X'_{(2)}\\ \vdots\\ X'_{(n)} \end{array} \right)=(\mathcal{X}_1,\mathcal{X}_2\dots,\mathcal{X}_p) \]
其中\(\mathcal{X}_i\)表示矩阵的第\(i\)列，在观测后表示对第\(i\)个变量的\(n\)次观测，观测前表示一个\(n\)维随机向量
以后若非特别强调，则以上述定义为准。
1.1 随机向量的分布
- 联合分布
称\(p\)元函数：
\[F(x_1,\dots,x_p)=P\{X_1\leq x_1\dots X_p\leq x_p\} \]
为\(X\)的联合分布函数；
若存在非负函数\(f=(x_1，\dots，x_p)\)可以使得随机向量\(X\)的联合分布函数对一切\((x_1,\dots,x_p)\in\R^p\)均可表示为：
\[F(x_1,\dots,x_p)=\underbrace{\int_{-\infty}^{x_1}\dots\int_{-\infty}^{x_p}}_{共p次}f(x_1,\dots,x_p)dx_1\dots dx_p \]
则称\(X\)为连续型随机变量，称\(f=(x_1，\dots，x_p)\)为\(X\)的联合概率密度函数，简称为多元密度函数，且具备两条性质：
- （非负性）\(f=(x_1，\dots，x_p)\geq0\) 对 \(\forall{x_1，\dots，x_p}\in\R\);
- （正则性）\(\int_{-\infty}^{x_1}\dots\int_{-\infty}^{x_p}f(x_1,\dots,x_p)dx_1\dots dx_p=1\)
- 边缘分布
称随机向量\(X\)的部分分量\((X_{i_1},\dots,X_{i_m})'，(1\leq m<p),\)为边缘分布。
设：
\[X=\left[ \begin{array}{C} X^{(1)}_{r}\\ x^{(2)}_{p-r} \end{array} \right] \]则：
\[\begin{align} f_1(x^{(1)}) =&f_1(x_1,\dots,x_r)\\ =&\int_{-\infty}^{\infty}\dots\int_{-\infty}^{\infty}f(x_1,\dots,x_p)dx_{r+1}\dots dx_p \end{align} \]这是因为：
\[\begin{align} f_(x_1,\dots,x_{p-1}) =&\int_{-\infty}^{x_1} \dots \int_{-\infty}^{x_{p-1}} \left[ \int_{-\infty}^{\infty} f(x_1,\dots,,x_{p-1},x_p)dx_p \right] dx_{1}\dots dx_{p-1}\\ =&\int_{-\infty}^{x_1} \dots \int_{-\infty}^{x_{p-1}} f_*(x_1,\dots,,x_{p-1})dx_{1}\dots dx_{p-1}\\ \end{align} \]则若取边际分布，只需要将不需要的变量，取\(\int_{-\infty}^{\infty}(*)dx_i\)即可
- 条件分布
同上节，对于\(X=[X^{(1)},X^{(2)}]'\),当\(X\)的密度函数为：\(f(x^{(1)},x^{(2)})\)时，给定\(X^{(2)}\)时\(X^{(1)}\)的条件密度为：
\[f(x^{(1)}|\ x^{(2)})=\frac{f(x^{(1)},x^{(2)})}{f_2(x^{(2)})},f_2(x^{(2)})为X^{(2)}关于X的边缘密度 \]
- 独立性
对于\(p\)维随机变量\(X_i\)的分布函数记为：\(F_i(x_i),(i=1,2,\dots p)\),而\(F(X_1,\dots,X_p)\)是\(X\)的联合分布函数，若对一切实数\(x_1,\dots x_p\):
\[F(X_1,\dots,X_p)=F_1(x_1)\dots F_p(x_p) \]
均成立，则称\(X_1,\dots,X_p\)相互独立
1.2 随机向量的数字特征
- 随机向量\(X\)的均值向量
若\(E(X_i)=\mu_i\)存在，则：
\[E(X)= \left[ \begin{array}{c} E(X_1)\\ \vdots\\ E(X_p) \end{array} \right] = \left[ \begin{array}{c} \mu_1\\ \vdots\\ \mu_p \end{array} \right] \]
- 随机向量\(X\)的协方差阵
若\(X_i\)和\(X_j\)的协方差\(Cov(X_i,X_j)\)存在，则称：
\[\begin{align} D(X)&=E[(X-E(X))(X-E(X))']\\ &= \left[ \begin{array}{cCCC} Cov(X_1,X_1) &Cov(X_1,X_2) &\dots &Cov(X_1,X_p)\\ Cov(X_2,X_1) &Cov(X_2,X_2) &\dots &Cov(X_2,X_p)\\ \vdots\\ Cov(X_p,X_1) &Cov(X_p,X_2) &\dots &Cov(X_p,X_p)\\ \end{array} \right]\\ &=(\sigma_{ij})_{p\times p}\\ ::&=\Sigma \end{align} \]
均值向量和协方差阵的性质
- 设\(X,Y\)为随机向量，\(A,B\)为常数矩阵，则
- \(E(AXB)=AE(X)B\)
证明：
令\(A_{m\times p}=(\alpha_1,\dots,\alpha_p),X_{p\times1}=(x_1,\dots,x_p)'\)
\[\begin{align} E(AX)=&E\left((\alpha_1,\dots,\alpha_p) \left( \begin{array}{c} x_1\\ \vdots\\ x_p \end{array} \right) \right)\\ (*)=&E(x_1\alpha_1+\dots+x_p\alpha_p)\\ \alpha_i=& \left( \begin{array}{c} \alpha_{1i}\\ \vdots\\ \alpha_{mi} \end{array} \right)， x_i\alpha_i= \left( \begin{array}{c} x_i\alpha_{1i}\\ \vdots\\ x_i\alpha_{mi} \end{array} \right)\\ E(x\alpha_i)=& E\left( \begin{array}{c} x_i\alpha_{1i}\\ \vdots\\ x_i\alpha_{mi} \end{array} \right)\\ =& \left( \begin{array}{c} E(x_i\alpha_{1i})\\ \vdots\\ E(x_i\alpha_{mi}) \end{array} \right)\\ =& \left( \begin{array}{c} \alpha_{1i}E(x_i)\\ \vdots\\ \alpha_{mi}E(x_i) \end{array} \right)\\ =&\alpha_iE(x_i)\\ \therefore(*)=&E(x_1)\alpha_1+\dots+E(x_p)\alpha_p\\ =&(\alpha_1,\dots,\alpha_p)\left( \begin{array}{c} E(x_1)\\ \vdots\\ E(x_p) \end{array} \right)\\ =&AE(X) \end{align} \]
- \(Cov(AX,BY)=ACov(X,Y)B'\)
\[\begin{align} Cov(AX,BY)&=E[(AX-E(AX))(BY-E(BY))']\\ &=E(A(X-E(X))\left[B(Y-E(Y))]'\right)\\ &=E(A(X-E(X))\left[(Y-E(Y))'B']\right)\\ &=AE[(X-E(X))(Y-E(Y))']B'\\ &=ACov(X,Y)B' \end{align} \]
- 若\(X,Y\)相互独立，则协方差阵为零矩阵，反之不一定成立；(记住就行)
对于\(Cov(X,Y)=E[(X-E(X))(Y-E(Y))']\),
\[\begin{align} E[(X-E(X))(Y-E(Y))'] =& E\left[ \left[ \begin{array}{c} X_1-\mu_1\\ \vdots\\ X_p-\mu_p \end{array} \right] [Y_1-a_1,\dots,Y_q-a_q] \right]\\ =& \left[ \begin{array}{cCCC} Cov(X_1,Y_1) &Cov(X_1,Y_2) &\dots &Cov(X_1,Y_q)\\ Cov(X_2,Y_1) &Cov(X_2,Y_2) &\dots &Cov(X_2,Y_q)\\ \vdots\\ Cov(X_p,Y_1) &Cov(X_p,Y_2) &\dots &Cov(X_p,Y_q)\\ \end{array} \right]\\ =& \left[ \begin{array}{cCC} E(X_1Y_1)-E(X_1)E(Y_1) &\dots &E(X_1Y_q)-E(X_1)E(Y_q)\\ E(X_2Y_1)-E(X_2)E(Y_1) &\dots &E(X_2Y_q)-E(X_2)E(Y_q)\\ \vdots\\ E(X_pY_1)-E(X_p)E(Y_1) &\dots &E(X_pY_q)-E(X_p)E(Y_q)\\ \end{array} \right]\\ =& \left[ \begin{array}{cCCC} E(X_1Y_1) &E(X_1Y_2) &\dots &E(X_1Y_q)\\ E(X_2Y_1) &E(X_2Y_2) &\dots &E(X_2Y_q)\\ \vdots\\ E(X_pY_1) &E(X_pY_2) &\dots &E(X_pY_q)\\ \end{array} \right] \\ &-\left[ \begin{array}{cCCC} E(X_1)E(Y_1) &E(X_1)E(Y_2) &\dots &E(X_1)E(Y_q)\\ E(X_2)E(Y_1) &E(X_2)E(Y_2) &\dots &E(X_2)E(Y_q)\\ \vdots\\ E(X_p)E(Y_1) &E(X_p)E(Y_2) &\dots &E(X_p)E(Y_q)\\ \end{array} \right]\\ =&E(XY')-E(X)[E(Y)]' \end{align} \]当两个事件独立的时候，显然有\(E(XY)=E(X)E(Y)\)，因此\(Cov(X,Y)=O\),因此相互独立的随机向量协方差阵为零矩阵。
而反之，不成立。
-
随机向量的\(X=(X_1,X_2,\dots,X_p)'\)的协方差阵\(D(X)=\Sigma\)是对称、非负定矩阵；
( i ) 因为\(Cov(X_i,X_j)=Cov(X_j,X_i)\),因此
\[\Sigma=\Sigma' \](ii) 对任给\(\alpha=(\alpha_1,\alpha_2,\dots,\alpha_p)'\)，有
\[\begin{align} \alpha'\Sigma\alpha &=(\alpha_1,\alpha_2,\dots,\alpha_p)' E[(X-E(X))(Y-E(Y))'] \left[ \begin{array}{c} \alpha_1\\ \alpha_2\\ \vdots\\ \alpha_p \end{array} \right]\\ &=E[\alpha'(X-E(X))(Y-E(Y))'\alpha]\\ &=E[\alpha'(X-E(X))[\alpha'(Y-E(Y))]']\\ &=E\left[[\alpha'(Y-E(Y))]^2\right]\geq0\\ \end{align} \]因此\(\Sigma\)为非负定矩阵。
-
\(\Sigma=L^2\)，其中\(L\)为非负定矩阵。
由于\(\Sigma\)为非负定矩阵，由（实对称矩阵对角化）定理，存在正交矩阵\(\Gamma\)，s.t.:
\[\begin{align} \Sigma =&\Gamma\ diag(\lambda_i)\Gamma'，\lambda_i\geq0\\ =&\Gamma\ diag(\sqrt{\lambda_i}\ )\Gamma'\cdot\Gamma\ diag(\sqrt{\lambda_i}\ )\Gamma'\\ (L::=&\Gamma\ diag(\sqrt{\lambda_i}\ )\Gamma')\\ 则\Sigma=&L^2,且L=\Gamma\ diag(\sqrt{\lambda_i}\ )\Gamma'=L'\geq0 \end{align} \]当\(\Sigma\)正定时，矩阵\(L\)也成为其平方根矩阵，记为\(\Sigma^{1/2}\)；若令\(A=\Gamma\ diag(\sqrt{\lambda_i}\ )\),则\(\Sigma\)还有如下分解：
\[\Sigma=AA' \]A为非退化方阵。
-
随机向量\(X\)和\(Y\)的协方差阵
同理可以定义随机向量\(X\)和\(Y\)的协方差阵\[\begin{align} Cov(X,Y)&=E[(X-E(X))(Y-E(Y))']\\ &= \left[ \begin{array}{cCCC} Cov(X_1,Y_1) &Cov(X_1,Y_2) &\dots &Cov(X_1,Y_q)\\ Cov(X_2,Y_1) &Cov(X_2,Y_2) &\dots &Cov(X_2,Y_q)\\ \vdots\\ Cov(X_p,Y_1) &Cov(X_p,Y_2) &\dots &Cov(X_p,Y_q)\\ \end{array} \right]\\ \end{align} \]若\(Cov(X,Y)=O\)则称，\(X，Y\)不相关。
-
随机向量\(X\)的相关阵
若\(X_i\)和\(Y_i\)的协方差\(Cov(X_i,Y_i)\)存在，则称\(R=(r_{ij})_{p\times p}\)为\(X\)的相关阵，
\[r_{ij}=\frac{\sigma_{ij}}{\sqrt{\sigma_{ii}\sigma_{jj}}}=\frac{Cov(X_i,X_j)}{\sqrt{Var(X_i)}\sqrt{Var(X_j)}} \]
若记：
\[V^{1/2}= \left[ \begin{array}{cccc} \sqrt{\sigma_{11}} &0 &\dots &0\\ 0 &\sqrt{\sigma_{22}}&\dots &0\\ 0 &0 &\dots &0\\ 0 &\dots &0&\sqrt{\sigma_{pp}} \\ \end{array} \right]=diag(\sqrt{\sigma_{ii}}) \]
为标准差矩阵，则：
\[\Sigma=V^{1/2}RV^{1/2} \]