sklearn之決策樹分類

'''
    決策樹分類：決策樹分類模型會找到與樣本特征匹配的葉子節點然后以投票的方式進行分類。
            在樣本文件中統計了小汽車的常見特征信息及小汽車的分類，使用這些數據基於決策樹分類算法訓練模型預測小汽車等級。
                    特征信息：   汽車價格    維修費用    車門數量    載客數    后備箱    安全性    汽車級別

    案例：基於決策樹分類算法訓練模型預測小汽車等級。

        1.讀取文本數據，對每列進行標簽編碼，基於隨機森林分類器進行交叉驗證,模型訓練.
        2.自定義測試集，使用已訓練的模型對測試集進行測試，輸出結果。
'''
import numpy as np
import matplotlib.pyplot as mp
import sklearn.preprocessing as sp
import sklearn.ensemble as se
import sklearn.model_selection as ms
import sklearn.metrics as sm
import warnings

warnings.filterwarnings('ignore')

data = []
with open('./ml_data/car.txt', 'r') as f:
    for line in f.readlines():
        sample = line[:-1].split(',')
        data.append(sample)
data = np.array(data)
# print(data.shape)

# 整理好每一列的標簽編碼器encoders
# 整理好訓練輸入集與輸出集
data = data.T
# print(data.shape)
encoders = []
train_x, train_y = [], []
for row in range(len(data)):
    encoder = sp.LabelEncoder()
    if row < len(data) - 1:  # 不是最后列
        train_x.append(encoder.fit_transform(data[row]))
    else:  # 是最后一列，作為輸出集
        train_y = encoder.fit_transform(data[row])
    encoders.append(encoder)

train_x = np.array(train_x).T
# 訓練隨機森林分類器
model = se.RandomForestClassifier(max_depth=6, n_estimators=200, random_state=7)
# 訓練之前進行交叉驗證
cv = ms.cross_val_score(model, train_x, train_y, cv=4, scoring='f1_weighted')
print(cv.mean())
model.fit(train_x, train_y)

# 自定義測試集，預測小汽車的等級
# 保證每個特征使用的標簽編碼器與訓練時使用的標簽編碼器匹配
data = [
    ['high', 'med', '5more', '4', 'big', 'low', 'unacc'],
    ['high', 'high', '4', '4', 'med', 'med', 'acc'],
    ['low', 'low', '2', '4', 'small', 'high', 'good'],
    ['low', 'med', '3', '4', 'med', 'high', 'vgood']]

data = np.array(data).T
test_x, test_y = [], []
for row in range(len(data)):
    encoder = encoders[row]  # 每列對應的標簽編碼器
    if row < len(data) - 1:
        test_x.append(encoder.transform(data[row]))  # 這里需要訓練了，直接轉換
    else:
        test_y = encoder.transform(data[row])
test_x = np.array(test_x).T

pred_test_y = model.predict(test_x)
print(pred_test_y)
pred_test_y = encoders[-1].inverse_transform(pred_test_y)
test_y = encoders[-1].inverse_transform(test_y)
print(pred_test_y)
print(test_y)


輸出結果：
0.7465877061619401
[2 0 0 3]
['unacc' 'acc' 'acc' 'vgood']
['unacc' 'acc' 'good' 'vgood']