【一致性檢驗指標】Kappa(cappa)系數

1 定義

百度百科的定義：

它是通過把所有地表真實分類中的像元總數（N）乘以混淆矩陣對角線（Xkk）的和，再減去某一類地表真實像元總數與被誤分成該類像元總數之積對所有類別求和的結果，再除以總像元數的平方減去某一類中地表真實像元總數與該類中被誤分成該類像元總數之積對所有類別求和的結果所得到的。

這對於新手而言可能比較難理解。什么混淆矩陣？什么像元總數？
我們直接從算式入手：

\[k = \frac{p_0-p_e}{1-p_e} \]

\(p_0\)是每一類正確分類的樣本數量之和除以總樣本數，也就是總體分類精度
假設每一類的真實樣本個數分別為\(a_1,a_2,...,a_c\)
而預測出來的每一類的樣本個數分別為\(b_1,b_2,...,b_c\)
總樣本個數為n
則有：\(p_e=a_1×b_1+a_2×b_2+...+a_c×b_c / n×n\)

1.1 簡單例子

學生考試的作文成績，由兩個老師給出 好、中、差三檔的打分，現在已知兩位老師的打分結果，需要計算兩位老師打分之間的相關性kappa系數：

從上面的公式中，可以知道我們其實只需要計算\(p_0 ,p_e\)即可：

Po = (10+35+15) / 87 = 0.689
a1 = 10+2+8 = 20; a2 = 5+35+5 = 45; a3 = 5+2+15 = 22;
b1 = 10+5+5 = 20; b2 = 2+35+2 = 39; b3 = 8+5+15 = 28;
Pe = (a1b1 + a2b2 + a3b3) / (8787) = 0.455
K = (Po-Pe) / (1-Pe) = 0.4293578

可以說提到kappa到處都是兩個老師的例子，哈哈

2 指標解釋

kappa計算結果為[-1,1]，但通常kappa是落在 [0,1] 間

第一種分析准則--可分為五組來表示不同級別的一致性：

0.0~0.20極低的一致性(slight)

0.21~0.40一般的一致性(fair)

0.41~0.60 中等的一致性(moderate)

0.61~0.80 高度的一致性(substantial)

0.81~1幾乎完全一致(almost perfect)

---

喜歡的話加個微信公眾號支持一下吧~目前主要再整理針對機器學習算法崗位的面試可能遇到的知識點。

公眾號回復【下載】有精選的免費機器學習學習資料。 公眾號每天會更新一個機器學習、深度學習的小知識，都是面試官會問的知識點哦~

• 【機器學習的基礎數學(PDF)】
• 【競賽中的大數據處理流程(PDF)】
• 【如何做大數據的基礎特征工程(PDF)】
• 【自然語言處理NLP的應用實踐大合集(PDF)】
• 【python入門級教材(400頁PDF)】

公眾號每天會更新一個機器學習、深度學習的小知識，都是面試官會問的知識點哦~