分類評估方法
精確率與召回率
混淆矩陣：在分類任務下，預測結果(Predicted Condition)與正確標記(True Condition)之間存在四種不同的組合，構成混淆矩陣(適用於多分類)。如下圖
精確率(Precision)與召回率(Recall)
- 精確率：預測結果為正例樣本中真實為正例的比例。比如預測10個人為真，結果真實值為8個人真，2個人為假，那么精確值為0.8.
- 召回率：真實為正例的樣本中預測結果為正例的比例（查得全，對正樣本的區分能力）。比如真實值有20個，但是預測出真實值有16個，那么召回率為0.8.
F1-score
F1-score，反映了模型的穩健型
公式
代碼api：
- sklearn.metrics.classification_report(y_true, y_pred, labels=[], target_names=None )
- y_true：真實目標值
- y_pred：估計器預測目標值
- labels:指定類別對應的數字
- target_names：目標類別名稱
- return：每個類別精確率與召回率
案例:癌症分類預測-良／惡性乳腺癌腫瘤預測
導包
import pandas as pd
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import classification_report,roc_auc_score
獲取數據
# 1.獲取數據
names = ['Sample code number', 'Clump Thickness', 'Uniformity of Cell Size', 'Uniformity of Cell Shape',
'Marginal Adhesion', 'Single Epithelial Cell Size', 'Bare Nuclei', 'Bland Chromatin',
'Normal Nucleoli', 'Mitoses', 'Class']
data = pd.read_csv("https://archive.ics.uci.edu/ml/machine-learning-databases/breast-cancer-wisconsin/breast-cancer-wisconsin.data",
names = names)
數據處理
# 2.1 缺失值處理
data = data.replace(to_replace="?",value=np.nan)
data = data.dropna()
# 2.2 確定特征值,目標值
x = data.iloc[:,1:-1]
x.head()
y = data["Class"]
y.head()
# 2.3 分割數據
x_train,x_test,y_train,y_test = train_test_split(x,y,random_state=22,test_size=0.2)
特征工程(標准化)
# 3.特征工程(標准化)
transfer = StandardScaler()
x_train = transfer.fit_transform(x_train)
x_test = transfer.fit_transform(x_test)
機器學習(邏輯回歸)
# 4.機器學習(邏輯回歸)
estimator = LogisticRegression()
estimator.fit(x_train,y_train)
模型評估
# 模型評估
# 5.1 打印分數
score = estimator.score(x_test,y_test)
print("預測分數為:\n",score)
# 5.2 打印預測結果
y_predict = estimator.predict(x_test)
print("預測結果為:\n",y_predict)
## 5.3 精確率和召回率評價
ret = classification_report(y_test,y_predict,labels=(2,4),target_names=("良性","惡行"))
print(ret)
## 5.4 auc指標計算
y_test = np.where(y_test>3,1,0)
print(y_test)
roc_auc_score(y_test,y_predict)
