簡單相關性分析(兩個連續型變量)

本文轉載自查看原文 2020-05-12 11:20 1349 統計分析

轉自：https://zhuanlan.zhihu.com/p/36441826

一、變量間的關系分析

變量之間的關系可分為兩類：

存在完全確定的關系——稱為函數關系
不存在完全確定的關系——雖然變量間有着十分密切的關系，但是不能由一個或多各變量值精確地求出另一個變量的值，稱為相關關系，存在相關關系的變量稱為相關變量

相關變量的關系也可分為兩種：

兩個及以上變量間相互影響——平行關系
一個變量變化受另一個變量的影響——依存關系

它們對應的分析方法：

相關分析是研究呈平行關系的相關變量之間的關系
回歸分析是研究呈依存關系的相關變量之間的關系

回歸分析和相關分析都是研究變量之間關系的統計學課題，兩種分析方法相互結合和滲透

二、簡單相關分析

相關分析：就是通過對大量數字資料的觀察，消除偶然因素的影響，探求現象之間相關關系的密切程度和表現形式

主要研究內容：現象之間是否相關、相關的方向、密切程度等，不區分自變量與因變量，也不關心各變量的構成形式

主要分析方法：繪制相關圖、計算相關系數、檢驗相關系數

1、計算兩變量之間的線性相關系數

所有相關分析中最簡單的就是兩個變量間的線性相關，一變量數值發生變動，另一變量數值會隨之發生大致均等的變動，各點的分布在平面圖上大概表現為一直線。

線性相關分析，就是用線性相關系數來衡量兩變量的相關關系和密切程度

給定二元總體 $(X,Y)$

總體相關系數用 $ρ$ 來表示：

$ρ_{X,Y}=\frac{cov(X,Y)}{\sqrt{var(X)var(Y)}}=\frac{E[(X-\mu_X)(Y-\mu_Y)]}{\sqrt{\sigma_{X}^{2}\sigma_{Y}^{2}}}$

$\sigma_x^2$ 為 $X$ 的總體方差，

$\sigma_y^2$ 是 $Y$ 的總體方差，

$cov(X,Y)$ 是 $x$ 與 $y$ 的協方差。

淺談一下協方差定義：

設 $(X,Y)$ 是二維隨機變量，若 $E[(X-E(X))(Y-E(Y))]$ 存在，

則稱 $cov(X,Y)=E[(X-E(X))(Y-E(Y))]$ ，叫 $X$ 與 $Y$ 的協方差，也叫 $X$ 與 $Y$ 的相關（中心）矩

即 $X$ 的偏差" $X-E(X)$ "與 $Y$ 的偏差" $Y-E(Y)$ "乘積的期望。

解讀：

當 $Cov(X,Y)>0$ ， $X$ 的偏差" $X-E(X)$ "跟 $Y$ 的偏差" $Y-E(Y)$ "，有同時增加或同時減少的傾向，又由於 $E(X)$ 和 $E(Y)$ 都是常數，所以就能夠等價於 $X$ 與 $Y$ 有同時增加或者減少的傾向，稱 $X$ 與 $Y$ 正相關
當 $Cov(X,Y)<0$ ， $X$ 的偏差" $X-E(X)$ "跟 $Y$ 的偏差" $Y-E(Y)$ "，有 $X$ 增加 $Y$ 減少的傾向，或 $Y$ 增加 $X$ 減少的傾向，稱 $X$ 與 $Y$ 負相關
當 $Cov(X,Y)=0$ ，稱 $X$ 與 $Y$ 不相關，這時可能是“ $X$ 與 $Y$ 取值毫無關聯”，也可能是“有某種特殊的非線性關系”

根據柯西-施瓦爾茲不等式(Cauchy–Schwarz inequality)：

$[Cov(X,Y)]^2\leq \sigma_X^2 \sigma_Y^2$

變形得 $\rho_{X,Y}$ 在區間 $[-1,1]$

$ρ_{X,Y}$ 是沒有單位的，因為分子協方差的量綱除以了分母的與分子相同的量綱

兩變量線性相關性越密切， $\left| ρ_{X,Y} \right|$ 接近於 $1$
兩變量線性相關性越低， $\left| ρ_{X,Y} \right|$ 接近於 $0$
$\left| ρ_{X,Y} \right|=0$ 的情況跟上面 $Cov(X,Y)=0$ 情況一樣

協方差與相關系數的關系，就像絕對數與相對數的關系。

Pearson 相關系數(樣本線性相關系數)

但是，學過統計的都知道，我們一般用樣本線性相關系數來估計總體線性相關系數

設 $(X,Y)$ 是二元總體，簡單隨機抽樣 $(x_1,y_1)$ ， $(x_2,y_2)$ ，......， $(x_n,y_n)$

樣本均值： $\bar{x}=\frac{1}{n}\sum_{i=1}^n x_i$ ， $\bar{y}=\frac{1}{n}\sum_{i=1}^n y_i$

樣本方差： $s_{xx}=\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})^2$ ， $s_{yy}=\frac{1}{n-1}\sum_{i=1}^n(y_i-\bar{y})^2$

樣本協方差： $s_{xy}=\frac{1}{n-1}\sum_{i=1}^n(x_i-\bar{x})(y_i-\bar{y})$

樣本相關系數：

$r=\frac{s_{xy}}{\sqrt{s_{xx}s_{yy}}}=\frac{l_{xy}}{l_{xx}l_{yy}}=\frac{\sum_{}^{}{(x-\bar{x})(y-\bar{y})}}{\sqrt{\sum{(x-\bar{x})^2\sum{(y-\bar{y})^2}}}}$

$l_{xx}$ 為 $x$ 的離差平方和， $l_{yy}$ 為 $y$ 的離差平方和， $l_{xy}$ 為 $x$ 與 $y$ 離差乘積之和(可正可負)

實際計算可按下面簡化：

$l_{xx} = \sum_{i=1}^n{(x-\bar{x})^2} = \sum_{i=1}^n{x}^2-\frac{(\sum_{i=1}^n x)^2}{n}$

$l_{yy} = \sum_{i=1}^n(y-\bar{y})^2 = \sum_{i=1}^n{y}^2-\frac{(\sum_{i=1}^ny)^2}{n}$

$l_{xy} = \sum_{i=1}^n(x-\bar{x})(y-\bar{y}) =\sum_{i=1}^nxy-\frac{(\sum_{i=1}^nx)(\sum_{i=1}^ny)}{n}$

例子：研究身高與體重的關系(R語言)

> x <- c(171,175,159,155,152,158,154,164,168,166,159,164)
> y <- c(57,64,41,38,35,44,41,51,57,49,47,46)
> plot(x,y)
> lxy <- function(x,y){
+     n = length(x);
+     return(sum(x*y)-sum(x)*sum(y)/n)
+ }
> lxy(x,x)
[1] 556.9167
> lxy(y,y)
[1] 813
> lxy(x,y)
[1] 645.5
> r <- lxy(x,y)/sqrt(lxy(x,x)*lxy(y,y))
> r
[1] 0.9593031
也能直接用cor()
> cor(x,y)
 [1] 0.9593031

這里的 $r>0$ ，說明身高和體重是正的線性相關關系

至於 $r$ 是否顯著，就要看下面的顯著性檢驗了。

Python版本的代碼如下：

>>> import numpy as np

>>> import matplotlib.pyplot as plt

>>> x = np.array([171,175,159,155,152,158,154,164,168,166,159,164])

>>> y = np.array([57,64,41,38,35,44,41,51,57,49,47,46])

>>> np.corrcoef(x, y)

array([[1.        , 0.95930314],

[0.95930314, 1.        ]])

>>> plt.scatter(x, y)

>>> plt.show()

2、相關系數的假設檢驗

引入假設檢驗的原因： $r$ 與其他統計指標一樣，也會有抽樣誤差。從同一總體內抽取若干大小相同的樣本，各樣本的樣本相關系數總會有波動。即根據樣本數據是否有足夠的證據得出總體相關系數不為0的結論

要判斷不等於 $0$ 的 $r$ 值是來自總體相關系數 $ρ=0$ 的總體，還是來自 $\rho\ne0$ 的總體，必須進行顯著性檢驗

由於來自 $\rho=0$ 的總體的所有樣本相關系數呈白噪聲或者其他特殊分布

（為什么？看圖第一行中間、第三行）

因為樣本間沒有線性相關性，可能會雜亂無章(即什么關系也沒有)，也可能呈現出一些非線性關系(更高階的關系Pearson相關系數並不能表示出來)

關於 $\rho=0$ 會在第 3 章繼續探討

所以 $r$ 的顯著性檢驗可以用雙側 $t$ 檢驗來進行

（1）建立檢驗假設： $H_{0}:\rho=0，H_{1}:\rho\ne0，\alpha=0.05$

（2）構造 $t$ 統計量，計算相關系數 $r$ 的 $t$ 值： $t=\frac{|r-\rho| \sqrt{n-2}}{\sqrt{1-r^2}}=\frac{|r-0|}{\sqrt{\frac{1-r^2}{n-2}}}$

此 $t$ 近似服從 $t(n-2)$ 分布，如果數據嚴格服從二元正態分布

$\Gamma$ 是 gamma 函數， $F_1(a,b;c;d)$ 是高斯超幾何函數。

當總體相關系數 $\rho=0$ 時（假定兩個隨機變量是正態無相關的），樣本相關系數 $r$ 的密度函數為： $f(r)=\frac{(1-r^2)^{\frac{n-4}{2}}}{B(\frac{1}{2},\frac{n-2}{2})}$ ， $B$ 是 beta 函數，此密度函數碰巧就是統計量 $t$ 就是自由度為 $n-2$ 的 $t$ 分布；

（3）計算 $t$ 值和 $P$ 值，做結論

在 R語言中有 cor.test() 函數

# r的顯著性檢驗,參數alternative默認是"two.side"即雙側t檢驗 method默認"pearson" > cor.test(x1, x2) Pearson's product-moment correlation

data: x1 and x2 t = 10.743, df = 10, p-value = 8.21e-07 alternative hypothesis: true correlation is not equal to 0 95 percent confidence interval: 0.8574875 0.9888163 sample estimates: cor 0.9593031

R的 cor.test() 在這里給出的結果還是比較豐富的。

$t$ 值為 $10.743$
$df$ 自由度是 $10$
$P-value$ $=8.21\times10^{-7}<0.05$ ，在顯著性水平 $\alpha=0.05$ 上拒絕 $H_{0}$ ，接受 $H_{1}$ 認為該人群身高和體重成正線性關系
置信度為 $95\%$ 的區間估計是 $[0.8574875,0.9888163]$ ，意思是總體線性相關系數 $\rho$ 取值在 $[0.8574875,0.9888163]$ 上的概率是 $95\%$
$\rho$ 的點估計為 $0.9593031$

這段檢驗該如何解讀？

這段代碼檢驗了身高和體重的Pearson相關系數為 $0$ 的原假設

假設總體相關度為 $0$ ，則預計在一百萬次中只會有少於一次的機會見到 $0.9593031$ 這樣大的相關度（即 $P-value=8.21\times10^{-7}$ ）

但其實這種情況幾乎不可能發生，所以可以拒絕掉原假設，即身高和體重的總體相關度不為 $0$

注意：

相關系數的顯著性是與自由度 $(n-2)$ 有關，也就是與樣本數量 $n$ 有關（這也是相關系數很明顯的缺點）。

樣本量小，相關系數絕對值容易接近於 $1$ ，樣本量大，相關系數絕對值容易偏小。

容易給人一種假象

在樣本量很小 $n=3$ ，自由度 $n-2=1$ 時，雖然 $r=-0.907$ 卻是不顯著

在樣本量很大 $n=400$ 時，即使 $r=-0.1$ ，也是顯著的

所以不能只看 $r$ 值就下結論，還要看樣本量大小

所以，我們要拿到充分大的樣本，就能把樣本相關系數 $r$ 作為總體相關系數 $\rho$ ，這樣就不必關心顯著性檢驗的結果了

3、 $\rho=0$ 與無法度量非線性關系的強度

舉《Statisitcal Inference第二版》里面的例子4.5.9

$X \sim U(-1,1)$ ， $Z\sim U(0,0.1)$

令 $Y=X^2+Z$ ，其中 $EX=EX^3=0$ ， $X$ 與 $Z$ 獨立即 $EXZ=(EX)(EZ)$

但是 $Cov(X, Y)=EXY-EXEY=EX(X^2+Z)-(EX)(E(X^2+Z))$

$=EX^3+EXZ-0E(X^2+Z)=0+(EX)(EZ)$

$=0(EZ)=0$

進而 $\rho_{X,Y}=\frac{Cov(X,Y)}{\rho_X\rho_Y}=0$

但明明是類似於二階拋物線的關系，Pearson相關系數卻為 $0$ ？！！

這就明顯說明了Pearson相關系數無法度量非線性關系的強度

下次會繼續深入探討多變量相關性分析

參考書籍：

《多元統計分析及R語言》第四版——王斌會
《概率論與數理統計教程》第二版——茆詩松 / 程依鳴 / 濮曉龍
《R語言實戰》第2版——Robert I. Kabacoff
《Statistical Inference》——George Casella / Roger L. Berger
相關系數檢驗 Using the exact distribution https://en.wikipedia.org/wiki/Pearson_correlation_coefficient

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。