期望、方差、協方差及相關系數的基本運算

轉載位置：http://blog.codinglabs.org/articles/basic-statistics-calculate.html

這篇文章總結了概率統計中期望、方差、協方差和相關系數的定義、性質和基本運算規則。

期望

定義

設P(x)P(x)是一個離散概率分布函數，自變量的取值范圍為{x1,x2,⋯,xn}{x1,x2,⋯,xn}。其期望被定義為：

 

E(x)=∑k=1nxkP(xk)E(x)=∑k=1nxkP(xk)

 

設p(x)p(x)是一個連續概率密度函數。其期望為：

 

E(x)=∫+∞−∞xp(x)dxE(x)=∫−∞+∞xp(x)dx

 

性質

1、線性運算規則

期望服從線性性質（可以很容易從期望的定義公式中導出）。因此線性運算的期望等於期望的線性運算：

 

E(ax+by+c)=aE(x)+bE(y)+cE(ax+by+c)=aE(x)+bE(y)+c

 

這個性質可以推廣到任意一般情況：

 

E(∑k=1naixi+c)=∑k=1naiE(xi)+cE(∑k=1naixi+c)=∑k=1naiE(xi)+c

 

2、函數的期望

設f(x)f(x)為x的函數，則f(x)f(x)的期望為：

離散：

 

E(f(x))=∑k=1nf(xk)P(xk)E(f(x))=∑k=1nf(xk)P(xk)

 

連續：

 

E(f(x))=∫+∞−∞f(x)p(x)dxE(f(x))=∫−∞+∞f(x)p(x)dx

 

一定要注意，函數的期望不等於期望的函數，即E(f(x))≠f(E(x))E(f(x))≠f(E(x))！。

3、乘積的期望

一般來說，乘積的期望不等於期望的乘積，除非變量相互獨立。因此，如果x和y相互獨立，則E(xy)=E(x)E(y)E(xy)=E(x)E(y)。

期望的運算構成了統計量的運算基礎，因為方差、協方差等統計量本質上是一種特殊的期望。

方差

定義

方差是一種特殊的期望，被定義為：

 

Var(x)=E((x−E(x))2)Var(x)=E((x−E(x))2)

 

性質

1、展開表示

反復利用期望的線性性質，可以算出方差的另一種表示形式：

 

Var(x)=====E((x−E(x))2)E(x2−2xE(x)+(E(x))2)E(x2)−2E(x)E(x)+(E(x))2E(x2)−2(E(x))2+(E(x))2E(x2)−(E(x))2Var(x)=E((x−E(x))2)=E(x2−2xE(x)+(E(x))2)=E(x2)−2E(x)E(x)+(E(x))2=E(x2)−2(E(x))2+(E(x))2=E(x2)−(E(x))2

 

2、常數的方差

常數的方差為0，由方差的展開表示很容易推得。

3、線性組合的方差

方差不滿足線性性質，兩個變量的線性組合方差計算方法如下：

 

Var(ax+by)=a2Var(x)+b2Var(y)+2Cov(x,y)Var(ax+by)=a2Var(x)+b2Var(y)+2Cov(x,y)

 

其中Cov(x,y)Cov(x,y)為x和y的協方差，下一節討論。

4、獨立變量的方差

如果兩個變量相互獨立，則：

 

Var(ax+by)=a2Var(x)+b2Var(y)Var(ax+by)=a2Var(x)+b2Var(y)

 

作為推論，如果x和y相互獨立：Var(x+y)=Var(x)+Var(y)Var(x+y)=Var(x)+Var(y)。

協方差

定義

兩個隨機變量的協方差被定義為：

 

Cov(x,y)=E((x−E(x))(y−E(y)))Cov(x,y)=E((x−E(x))(y−E(y)))

 

因此方差是一種特殊的協方差。當x=y時，Cov(x,y)=Var(x)=Var(y)Cov(x,y)=Var(x)=Var(y)。

性質

1、獨立變量的協方差

獨立變量的協方差為0，可以由協方差公式推導出。

2、線性組合的協方差

協方差最重要的性質如下：

 

Cov(∑i=1maixi,∑j=1nbjyj)=∑i=1m∑j=1naibjCov(xi,yj)Cov(∑i=1maixi,∑j=1nbjyj)=∑i=1m∑j=1naibjCov(xi,yj)

 

很多協方差的計算都是反復利用這個性質，而且可以導出一些列重要結論。

作為一種特殊情況：

 

Cov(a+bx,c+dy)=bdCov(x,y)Cov(a+bx,c+dy)=bdCov(x,y)

 

另外當x=y時，可以導出方差的一般線性組合求解公式：

 

Var(∑k=1naixi)=∑i=1n∑j=1naiajCov(xi,xj)Var(∑k=1naixi)=∑i=1n∑j=1naiajCov(xi,xj)

 

相關系數

定義

相關系數通過方差和協方差定義。兩個隨機變量的相關系數被定義為：

 

Corr(x,y)=Cov(x,y)Var(x)Var(y)−−−−−−−−−−−√Corr(x,y)=Cov(x,y)Var(x)Var(y)

 

性質

1、有界性

相關系數的取值范圍為-1到1，其可以看成是無量綱的協方差。

2、統計意義

值越接近1，說明兩個變量正相關性（線性）越強，越接近-1，說明負相關性越強，當為0時表示兩個變量沒有相關性。