21/8/25 读书笔记 多元正态分布

21/8/25 读书笔记

目录

• 21/8/25 读书笔记
  • 程序员的数学2 多元正态分布

程序员的数学2 多元正态分布

假设\(\bold Z=(z_1,z_2,...,z_k)^T\)​​​是k个随机变量组成的列向量，设\(g=c\exp(-\frac{z_i^2}{2})\)​是\(z_i\)​的概率密度函数（即\(z_i\)​满足标准正态分布），那么得到\(\bold Z\)​的概率密度函数为:

\[f_{\bold Z}(\bold z)=c\exp(-\frac{z_1^2}{2})\cdot c\exp(-\frac{z_1^2}{2})...c\exp(-\frac{z_i^2}{2})\\=d\exp(-\frac{1}{2}||\bold z||^2) \]

由此我们发现，多元正态分布的概率密度仅仅与向量\(\bold z\)​的长度有关，因此其概率密度的等高线是圆形（二元情况下）：

我们令标准正态分布\(\bold Z\)经过以下变换，成为\(\bold X\)​：

\[\bold X=D\bold Z, D \equiv\left(\begin{array}{lll} \sigma_{1} & & \\ & \ddots & \\ & & \sigma_{n} \end{array}\right) \]

发现\(\bold X\)成功实现了不同方向上的缩放，各坐标轴缩放倍率恰为\(D\)中对角元素：

我们常用正交矩阵的乘法运算来表示旋转运算，假设一个选择后的多元正态分布为$\bold R$： $$ \bold R = QD\bold Z（Q是正交矩阵，D是对角矩阵） \\ E[\bold R]=QE[D\bold Z]=\bold o \\ V[\bold R]=QV[D\bold Z]Q^T=QD^2Q^T $$ 如果我们已知$V[\bold R]$，由于协方差矩阵一定是对称矩阵，因此我们可以求出$V[\bold R]$的特征向量，单位化后组成的正交矩阵作为$Q$，然后求出$D$，因此我们就能够得到$\bold R$和标准正态分布$\bold Z$​之间的转换关系。

对于任意一个多元正态分布\(\bold R=QD\bold Z=A\bold Z\)​（注意这里的Q和D分别对应旋转和缩放，没有严格前后顺序，故组成变换矩阵A，注意A是一个正规矩阵），我们可以得到其概率密度函数的形式：

\[f_{\bold R}(\bold r)=\frac{1}{|\det\bold A|}f_\bold Z(z)(A^{-1}\bold r)=\frac{1}{|\det\bold A|}\cdot \frac{1}{\sqrt{2\pi}^n}\exp(-\frac{1}{2}||A^{-1}\bold r||^2) \\ V[A\bold Z]=AV[\bold Z] A^T=AIA^T=AA^T,\det V=(\det A)^2 \\ ||A^{-1}\bold r||^2=\bold r^T(A^{-1})^TA^{-1}\bold r=\bold r^TV^{-1}\bold r \]

对于一个方阵\(A\)，有\(AA^T=A^TA\)，则\(A\)​称为正规矩阵。

如果考虑上位移变化，即期望值不为零的情况，则可以得出所有的多元正态分布的概率密度函数满足以下的形式：

\[f(\bold x)=\frac{1}{\sqrt{(2\pi)^n\det V}}\exp\left(-\frac{1}{2}(\bold x-\bold \mu)^TV^{-1}(\bold x-\bold \mu)\right) \]

多元正态分布具有非常良好的性质：

• 给定期望值向量和协方差矩阵即可确定具体分布
• 如果随机变量互不相关，则一定相互独立
  • 如果分布在两个变量组成的平面上表现的椭圆是倾斜的（椭圆主轴不平行于坐标轴），那么则两个变量相关。
• 线性变换后仍然保持多元正态分布
• 条件分布与边缘分布仍然是多元正态分布

条件分布可以考虑成“截面”，固定某些变量的值；边缘分布可以考虑成“投影”，忽略某些变量的影响。