期望、方差、协方差和协方差矩阵

一、期望

1.离散随机变量的X的数学期望：

E(X)=∑k=1∞xkpk $$E(X)=\underset{k=1}{\overset{\mathrm{\infty }}{\sum }}{x}_k{p}_k$$

2.连续型随机变量X的数学期望：

E(X)=∫+∞−∞xf(x)dx $$E(X)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}xf(x)dx$$

3.常见分布的期望

1）泊松分布的期望等于 λ $\lambda$；
2）均匀分布的期望位于区间的中心；
3） 高斯分布的期望为 μ $\mu$
4）二项分布的期望为 np $np$

4.期望的性质

常数的期望等于该常数；
E(CX)=CE(X) $E(CX)=CE(X)$;
E(X+Y)=E(X)+E(Y) $E(X+Y)=E(X)+E(Y)$;
X,Y $X,Y$独立时， E(XY)=E(X)E(Y) $E(XY)=E(X)E(Y)$

---

---

二、 方差

研究随机变量与其均值的偏离程度，记为：

D(X)=E[X−E(X)]2 $$D(X)=E[X-E(X){]}^2$$

1.均方差，标准差

σ(X)=E[X−E(X)]2−−−−−−−−−−−√ $$\sigma (X)=\sqrt{E[X-E(X){]}^2}$$

2.方差的计算

把 E[X−E(X)]2 $E[X-E(X){]}^2$看做函数 g(X) $g(X)$, 方差相当于求 g(X) $g(X)$的期望。
对于离散的：

D(X)=∑k=1∞[xk−E(X)]2pk $$D(X)=\underset{k=1}{\overset{\mathrm{\infty }}{\sum }}[x_k-E(X){]}^2{p}_k$$

对于连续的：

D(X)=∫+∞−∞[xk−E(X)]2f(x)dx $$D(X)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}[x_k-E(X){]}^{2}f(x)dx$$

实际中常用下面公式计算：

D(X)=E(X2)+[E(X)]2 $$D(X)=E(X^2)+[E(X){]}^2$$

3.常见分布的方差

1）高斯分布的方差 σ2 ${\sigma }^2$
2) 0-1分布的方差为 D(X)=p(1−p) $D(X)=p(1-p)$
3) 泊松分布的方差为 λ $\lambda$
4) 均匀分布的方差为 (b−a)212 $\frac{(b-a{)}^2}{12}$
5)指数分布 f(x)=1θe−x/θ $f(x)=\frac{1}{\theta }{e}^{-x/\theta }$的方差为 θ2 ${\theta }^2$

4. 性质

---

---

三、协方差

描述两个变量的相关性

Cov=E[X−E(X)][Y−E(Y)] $$Cov=E[X-E(X)][Y-E(Y)]$$

相关系数

ρXY=Cov(X,Y)D(X)−−−−−√D(Y)−−−−−√ $${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$

ρXY=0 ${\rho }_{XY}=0$, 两个变量不相关

---

---

四、协方差矩阵

推广到多维：

对于连续的情况：

例子：
可以参考下面的博客：
详解协方差与协方差矩阵：https://blog.csdn.net/ybdesire/article/details/6270328

---

参考： 概率论与数理统计 浙大