期望、方差、協方差和協方差矩陣

一、期望

1.離散隨機變量的X的數學期望：

E(X)=∑k=1∞xkpk $$E(X)=\underset{k=1}{\overset{\mathrm{\infty }}{\sum }}{x}_k{p}_k$$

2.連續型隨機變量X的數學期望：

E(X)=∫+∞−∞xf(x)dx $$E(X)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}xf(x)dx$$

3.常見分布的期望

1）泊松分布的期望等於 λ $\lambda$；
2）均勻分布的期望位於區間的中心；
3） 高斯分布的期望為 μ $\mu$
4）二項分布的期望為 np $np$

4.期望的性質

常數的期望等於該常數；
E(CX)=CE(X) $E(CX)=CE(X)$;
E(X+Y)=E(X)+E(Y) $E(X+Y)=E(X)+E(Y)$;
X,Y $X,Y$獨立時， E(XY)=E(X)E(Y) $E(XY)=E(X)E(Y)$

---

---

二、 方差

研究隨機變量與其均值的偏離程度，記為：

D(X)=E[X−E(X)]2 $$D(X)=E[X-E(X){]}^2$$

1.均方差，標准差

σ(X)=E[X−E(X)]2−−−−−−−−−−−√ $$\sigma (X)=\sqrt{E[X-E(X){]}^2}$$

2.方差的計算

把 E[X−E(X)]2 $E[X-E(X){]}^2$看做函數 g(X) $g(X)$, 方差相當於求 g(X) $g(X)$的期望。
對於離散的：

D(X)=∑k=1∞[xk−E(X)]2pk $$D(X)=\underset{k=1}{\overset{\mathrm{\infty }}{\sum }}[x_k-E(X){]}^2{p}_k$$

對於連續的：

D(X)=∫+∞−∞[xk−E(X)]2f(x)dx $$D(X)={\int }_{-\mathrm{\infty }}^{+\mathrm{\infty }}[x_k-E(X){]}^{2}f(x)dx$$

實際中常用下面公式計算：

D(X)=E(X2)+[E(X)]2 $$D(X)=E(X^2)+[E(X){]}^2$$

3.常見分布的方差

1）高斯分布的方差 σ2 ${\sigma }^2$
2) 0-1分布的方差為 D(X)=p(1−p) $D(X)=p(1-p)$
3) 泊松分布的方差為 λ $\lambda$
4) 均勻分布的方差為 (b−a)212 $\frac{(b-a{)}^2}{12}$
5)指數分布 f(x)=1θe−x/θ $f(x)=\frac{1}{\theta }{e}^{-x/\theta }$的方差為 θ2 ${\theta }^2$

4. 性質

---

---

三、協方差

描述兩個變量的相關性

Cov=E[X−E(X)][Y−E(Y)] $$Cov=E[X-E(X)][Y-E(Y)]$$

相關系數

ρXY=Cov(X,Y)D(X)−−−−−√D(Y)−−−−−√ $${\rho }_{XY}=\frac{Cov(X,Y)}{\sqrt{D(X)}\sqrt{D(Y)}}$$

ρXY=0 ${\rho }_{XY}=0$, 兩個變量不相關

---

---

四、協方差矩陣

推廣到多維：

對於連續的情況：

例子：
可以參考下面的博客：
詳解協方差與協方差矩陣：https://blog.csdn.net/ybdesire/article/details/6270328

---

參考： 概率論與數理統計 浙大