卡方檢驗
卡方檢驗是一種用途很廣的計數資料的假設檢驗方法。
它屬於非參數檢驗的范疇,主要是比較兩個及兩個以上樣本率( 構成比)以及兩個分類變量的關聯性分析。
其根本思想就是在於比較理論頻數和實際頻數的吻合程度或擬合優度問題。
它在分類資料統計推斷中的應用,包括:兩個率或兩個構成比比較的卡方檢驗;
多個率或多個構成比比較的卡方檢驗以及分類資料的相關分析等。
卡方檢驗的核心思想
卡方檢驗是以χ2分布為基礎的一種常用假設檢驗方法,
它的無效假設H0是:觀察頻數與期望頻數沒有差別。
該檢驗的基本思想是:首先假設H0成立,基於此前提計算出χ2值,它表示觀察值與理論值之間的偏離程度。
根據χ2分布及自由度可以確定在H0假設成立的情況下獲得當前統計量及更極端情況的概率P。
如果P值很小,說明觀察值與理論值偏離程度太大,應當拒絕無效假設,表示比較資料之間有顯著差異;
否則就不能拒絕無效假設,尚不能認為樣本所代表的實際情況和理論假設有差別。
卡方值的計算與意義
χ2值表示觀察值與理論值之問的偏離程度。計算這種偏離程度的基本思路如下。
(1)設A代表某個類別的觀察頻數,E代表基於H0計算出的期望頻數,A與E之差稱為殘差。
(2)顯然,殘差可以表示某一個類別觀察值和理論值的偏離程度,但如果將殘差簡單相加以表示各類別觀察頻數與期望頻數的差別,則有一定的不足之處。因為殘差有正有負,相加后會彼此抵消,總和仍然為0,為此可以將殘差平方后求和。
(3)另一方面,殘差大小是一個相對的概念,相對於期望頻數為10時,期望頻數為20的殘差非常大,但相對於期望頻數為1 000時20的殘差就很小了。考慮到這一點,人們又將殘差平方除以期望頻數再求和,以估計觀察頻數與期望頻數的差別。
進行上述操作之后,就得到了常用的χ2統計量,由於它最初是由英國統計學家Karl Pearson在1900年首次提出的,因此也稱之為Pearson χ2,其計算公式為
其中,Ai為i水平的觀察頻數,Ei為i水平的期望頻數,n為總頻數,pi為i水平的期望頻率。i水平的期望頻數Ei等於總頻數n×i水平的期望概率pi,k為單元格數。當n比較大時,χ2統計量近似服從k-1(計算Ei時用到的參數個數)個自由度的卡方分布。
由卡方的計算公式可知,當觀察頻數與期望頻數完全一致時,χ2值為0;觀察頻數與期望頻數越接近,兩者之間的差異越小,χ2值越小;反之,觀察頻數與期望頻數差別越大,兩者之間的差異越大,χ2值越大。換言之,大的χ2值表明觀察頻數遠離期望頻數,即表明遠離假設。小的χ2值表明觀察頻數接近期望頻數,接近假設。因此,χ2是觀察頻數與期望頻數之間距離的一種度量指標,也是假設成立與否的
卡方檢驗的樣本量要求
卡方分布本身是連續型分布,但是在分類資料的統計分析中,顯然頻數只能以整數形式出現,因此計算出的統計量是非連續的。只有當樣本量比較充足時,才可以忽略兩者間的差異,否則將可能導致較大的偏差具體而言,一般認為對於卡方檢驗中的每一個單元格,要求其最小期望頻數均大於1,且至少有4/5的單元格期望頻數大於5,此時使用卡方分布計算出的概率值才是准確的。如果數據不符合要求,可以采用確切概率法進行概率的計算。
適用於四格表應用條件
1. 隨機樣本數據。兩個獨立樣本比較可以分以下3種情況:
- (1)所有的理論數T≥5並且總樣本量n≥40,用Pearson卡方進行檢驗。(正常的Pearson檢驗)
- (2)如果理論數T<5但T≥1,並且n≥40,用連續性校正的卡方進行檢驗。(校正的Pearson)
- (3)如果有理論數T<1或n<40,則用Fisher’s檢驗。(如果判斷的理論數的數量不符合Pearson卡方的條件,可以查看SAS給出的結果中的Fisher's檢驗)
2. 卡方檢驗的理論頻數不能太小。
R×C表卡方檢驗應用條件
(1)R×C表中理論數小於5的格子不能超過1/5;
(2)不能有小於1的理論數。如果實驗中有不符合R×C表的卡方檢驗,可以通過增加樣本數、列合並來實現。
卡方檢驗最常見的用途
就是考察某無序分類變量各水平在兩組或多組間的分布是否實際上,除了這個用途之外.卡方檢驗還有更廣泛的應用。具體而言,其用途主要包括以下幾個方面:
(1)檢驗某個連續變量的分布是否與某種理論分布相一致。如是否符合正態分布、是否服從均勻分布、是否服從Poisson分布等。
(2)檢驗某個分類變量各類的出現概率是否等於指定概率。如在36選7的彩票抽獎中,每個數字出現的概率是否各為1/36;擲硬幣時,正反兩面出現的概率是否均為0.5。
(3)檢驗某兩個分類變量是否相互獨立。如吸煙(二分類變量:是、否)是否與呼吸道疾病(二分類變量:是、否)有關;產品原料種類(多分類變量)是否與產品合格(二分類變量)有關。
(4)檢驗控制某種或某幾種分類因素的作用以后,另兩個分類變量是否相互獨立。如在上例中,控制性別、年齡因素影響以后,吸煙是否和呼吸道疾病有關;控制產品加工工藝的影響后,產品原料類別是否與產品合格有關。
(5)檢驗某兩種方法的結果是否一致。如采用兩種診斷方法對同一批人進行診斷,其診斷結果是否一致;采用兩種方法對客戶進行價值類別預測,預測結果是否一致。
卡方檢驗步驟
(1) 原假設H0: 觀察頻數與期望頻數無差別,; 備擇假設H1: 2觀察頻數與期望頻數有差別;
(2)根據數據計算卡方值、P值(右尾面積); 若P值≤α,則拒絕H0; 若P值>α,則接受H0.
*2、* 下面對type 和origin 兩個變量進行卡方檢驗;
* 解釋一下產地不同的汽車類型是否有差異先假設沒有差異;
proc freq data=sashelp.cars;
tables type*origin /chisq;
run;
* 得到的結果概率值小於0.001 ,說明兩者有顯著性差異應該拒絕原假設。;
* 最終的結論:產地不同的汽車類型是有差異的。;
SAS Connection established. Subprocess id is 24590
The FREQ Procedure
|
|
Statistics for Table of Type by Origin
Statistic | DF | Value | Prob |
---|---|---|---|
Chi-Square | 10 | 35.6659 | <.0001 |
Likelihood Ratio Chi-Square | 10 | 42.1254 | <.0001 |
Mantel-Haenszel Chi-Square | 1 | 0.0808 | 0.7762 |
Phi Coefficient | 0.2887 | ||
Contingency Coefficient | 0.2773 | ||
Cramer's V | 0.2041 |
Sample Size = 428
我們使用sas軟件中預置的數據集cars,針對其中的兩個變量Type和Origin進行卡方檢驗,原假設來自不同產地的汽車的類型相同,根據卡方檢驗給出的結果進行分析,樣本的數量以及理論數的大小限制條件,滿足卡方檢驗,自由度為10=(6-1)*(3-1), 得到的卡方值為35.6659,概率Porb為小於0.001,拒絕原假設H0,接受H1 來自不同產地的汽車的類型在95%的置信度下來源不一致。
方分布表