協方差與相關系數
協方差
二維隨機變量（X，Y），X與Y之間的協方差定義為：
Cov(X,Y)=E{[X-E(X)][Y-E(Y)]}
其中：E(X)為分量X的期望，E(Y)為分量Y的期望
協方差Cov(X,Y)是描述隨機變量相互關聯程度的一個特征數。從協方差的定義可以看出，它是X的偏差【X-E(X)】與Y的偏差【Y-E(Y)】的乘積的數學期望。由於偏差可正可負，因此協方差也可正可負。
l 當協方差Cov(X,Y)>0時，稱X與Y正相關
l 當協方差Cov(X,Y)<0時，稱X與Y負相關
l 當協方差Cov(X,Y)=0時，稱X與Y不相關
舉個例子
二維隨機變量（身高X，體重Y）（數據是自己編的）
|
|
身高X（cm） |
體重Y（500g） |
X-E(X) |
Y-E(Y) |
[X-E(X)][Y-E(Y)] |
| 1 |
152 |
92 |
-19.4 |
-39.7 |
770.18 |
| 2 |
185 |
162 |
13.6 |
30.3 |
412.08 |
| 3 |
169 |
125 |
-2.4 |
-6.7 |
16.08 |
| 4 |
172 |
118 |
0.6 |
-13.7 |
-8.22 |
| 5 |
174 |
122 |
2.6 |
-9.7 |
-25.22 |
| 6 |
168 |
135 |
-3.4 |
3.3 |
-11.22 |
| 7 |
180 |
168 |
8.6 |
36.3 |
312.18 |
|
|
E(X) =171.4 |
E(Y) =131.7 |
|
|
E{[X-E(X)][Y-E(Y)]}=209.4 |
根據直覺我們也會想到，身高和體重是有正相關性的，身高較高的體重一般會比較大，同樣體重大的身高一般也比較高。計算出來的結果也非常符合我們的直覺。
再來舉一個反例
二維隨機變量（玩游戲的時間X，學習成績Y）（數據是自己編的）
|
|
游戲時間X（h/天） |
學習成績Y |
X-E(X) |
Y-E(Y) |
[X-E(X)][Y-E(Y)] |
| 1 |
0 |
95 |
-1.36 |
20.7 |
-28.152 |
| 2 |
1 |
65 |
-0.36 |
-9.3 |
3.348 |
| 3 |
3 |
70 |
1.64 |
-4.3 |
-7.052 |
| 4 |
2 |
55 |
0.64 |
-19.3 |
-12.352 |
| 5 |
2.5 |
65 |
1.14 |
-9.3 |
-10.602 |
| 6 |
0.5 |
80 |
-0.86 |
5.7 |
-4.902 |
| 7 |
0.5 |
90 |
-0.86 |
15.7 |
-13.502 |
|
|
E(X) =1.36 |
E(Y) =74.3 |
|
|
E{[X-E(X)][Y-E(Y)]}= -10.5 |
同樣根據直覺我們也會覺得，小朋友玩游戲的時間越長，學習成績越差的可能性就越大，計算結果也很好的符合我們的直覺。
從上面兩幅散點圖上大約可以看出體重隨身高的變化趨勢，以及學習成績隨玩游戲時間長短的變化趨勢。因此，可以說協方差是兩個隨機變量具有相同變化趨勢的度量。
但是，協方差僅能進行定性的分析，並不能進行定量的分析，比如身高體重之間的協方差為209.1，它們之間的相關性具體有多大呢，協方差並沒有給出定量的判斷標准。因此我們引出相關系數的概念。
相關系數
相關系數的定義
其中：Var(X)為X的方差，Var(Y)為Y的方差。
根據施瓦茨不等式可以得到-1Corr(X,Y)1，這樣就可以定量的分析兩個隨機變量的相關性了。
l Corr(X,Y)=1的時候，說明兩個隨機變量完全正相關，即滿足Y=aX+b，a>0
考慮Corr(X,X)，兩個隨機變量相同，肯定滿足線性關系，此時，Cov(X,X)=Var(X)，容易得到Corr(X,Y)=1
l Corr(X,Y)=-1的時候，說明兩個隨機變量完全負相關，即滿足Y=-aX+b，a>0
l 0<| Corr(X,Y)|<1的時候，說明兩個隨機變量具有一定程度的線性關系。
還是以前面的兩個例子為例，
身高體重：Corr(X,Y)= 209.4/(10.2*24.4)=0.84
游戲時間與學習成績：Corr(X,Y)= -10.5/(1.1*13.4)= -0.71
有了相關系數，我們可以說，身高與體重之間的線性相關性比游戲時間與學習成績之間的線性相關性更大。
補充說明：
Corr(X,Y)為0，表示X與Y不相關，這里的不相關指的是X與Y沒有線性關系，但不是沒有關系。因此將“相關”理解為“線性相關”也許更恰當一些。