協方差的意義

協方差代表了兩個變量之間的是否同時偏離均值。

 

如果正相關，這個計算公式，每個樣本對（Xi, Yi）,　每個求和項大部分都是正數，即兩個同方向偏離各自均值，而不同時偏離的也有，但是少，這樣當樣本多時，總和結果為正。下面這個圖就很直觀。下面轉載自：http://blog.csdn.net/wuhzossibility/article/details/8087863

 

在概率論中，兩個隨機變量 X 與 Y 之間相互關系，大致有下列3種情況：

 

當 X, Y 的聯合分布像上圖那樣時，我們可以看出，大致上有： X 越大  Y 也越大， X 越小  Y 也越小，這種情況，我們稱為“正相關”。

 

當X, Y 的聯合分布像上圖那樣時，我們可以看出，大致上有：X 越大Y 反而越小，X 越小 Y 反而越大，這種情況，我們稱為“負相關”。

當X, Y  的聯合分布像上圖那樣時，我們可以看出：既不是X  越大Y 也越大，也不是 X 越大 Y 反而越小，這種情況我們稱為“不相關”。

怎樣將這3種相關情況，用一個簡單的數字表達出來呢？

在圖中的區域（1）中，有 X>EX ，Y-EY>0 ，所以(X-EX)(Y-EY)>0；

在圖中的區域（2）中，有 X<EX ，Y-EY>0 ，所以(X-EX)(Y-EY)<0；

在圖中的區域（3）中，有 X<EX ，Y-EY<0 ，所以(X-EX)(Y-EY)>0；

在圖中的區域（4）中，有 X>EX ，Y-EY<0 ，所以(X-EX)(Y-EY)<0。

當X 與Y 正相關時，它們的分布大部分在區域（1）和（3）中，小部分在區域（2）和（4）中，所以平均來說，有E(X-EX)(Y-EY)>0 。

當 X與 Y負相關時，它們的分布大部分在區域（2）和（4）中，小部分在區域（1）和（3）中，所以平均來說，有(X-EX)(Y-EY)<0 。

當 X與 Y不相關時，它們在區域（1）和（3）中的分布，與在區域（2）和（4）中的分布幾乎一樣多，所以平均來說，有(X-EX)(Y-EY)=0 。

所以，我們可以定義一個表示X, Y 相互關系的數字特征，也就是 協方差

cov(X, Y) = E(X-EX)(Y-EY)。

當 cov(X, Y)>0時，表明 X與Y 正相關；

當 cov(X, Y)<0時，表明X與Y負相關；

當 cov(X, Y)=0時，表明X與Y不相關。

這就是協方差的意義。