利用SPSS進行一致性檢驗並計算Kappa值
例子：對彈幕文本的分類編碼，判定結果為A~N 14種類別。采用Cohen's kappa系數分析。
一、問題與數據
通過分析彈幕用戶所發送的彈幕，判斷其使用彈幕的動機。現擬分析不同編碼員判斷的一致性，隨機抽取600份彈幕文本，再分別請兩位編碼員進行分類，判斷彈幕動機屬於哪種分類。這兩位編碼員操作的是同一份文本，編號統一，部分研究數據如下：
二、問題的分析
在本研究中，研究者擬探討兩位警察對受試者行為判斷的一致性，我們推薦使用 Cohen's kappa系數分析。一般來說，采用Cohen's kappa系數的研究設計需要滿足以下5項假設：
假設1：判定結果是分類變量且互斥。如本研究中受試者行為的判定結果為“正常”或“可疑”，屬於分類變量，並且相互排斥。
假設2：要求進行觀測變量配對，即不同觀測者判定的對象相同。如本研究中，兩位警察觀看的是同一組錄像，編號統一。
假設3：每個觀察對象可能被判定的結果種類相同。如本研究中每位受試者的行為都可能被判定為“正常”或“可疑”。
假設4：觀測者之間相互獨立。這要求不同觀測者獨立完成結果判定，相互不干擾。
假設5：由固定的兩位觀測者完成所有判定。如本研究中由兩位警察分別觀看100段錄像，中途不換人。
根據研究設計，我們認為本研究符合Cohen's kappa系數的5項假設，可以采用該分析方法進行一致性評價。
三、SPSS操作
- 在主菜單點擊分析(Analyze)→描述統計(DescriptiveStatistics)→交叉表(Crosstabs)
- 分別將編碼1和編碼2變量放入行和列欄
-
點擊統計，選擇Kappa，點擊繼續
-
點擊單元格，按如下選擇即可
注釋：如果大家想要得到頻率的預測值，可以點擊計數欄中的期望；若大家還想得到百分比值，可以點擊百分比欄中的行、列和總計
四、結果
從上表可以看出，本研究共有600對有效數據，沒有缺失，總數據為600例。編碼1和編碼2的交叉表，如下：
五、Kappa系數
kappa系數是統計學中度量一致性的指標, 值在[-1,1]. 對於評分系統, 一致性就是不同打分人平均的一致性; 對於分類問題，一致性就是模型預測結果和實際分類結果是否一致. kappa系數的計算是基於混淆矩陣, 取值為-1到1之間, 通常大於0.
| Cohen's Kappa系數值 | 一致性強度 |
|---|---|
| <0.20 | 較差 |
| 0.21-0.40 | 一般 |
| 0.41-0.60 | 中等 |
| 0.61-0.80 | 較強 |
| 0.81-1.00 | 強 |
計算：
公式為：
參考：
[Kappa系數]：https://blog.csdn.net/xtingjie/article/details/72803029
[Kappa系數簡單介紹]: https://blog.csdn.net/gltangwq/article/details/106357443
[利用SPSS進行一致性檢驗並計算Kappa值]: http://www.iikx.com/news/statistics/4569.html