Python數據挖掘—分類—決策樹

概念

決策樹（Decision Tree）：它通過對訓練樣本的學習，並建立分類規則，然后依據分類，對新樣本數據進行分類預測，屬於有監督學習

優點：決策樹易於理解和實現，決策樹可處理數值型和非數值型數據

 

步驟

• 導入數據，確定虛擬變量的列，然后遍歷這些列，將這些類的數據轉換為分類型數據，再通過get_dummies()方法獲取虛擬變量

import pandas

data=pandas.read_csv(
     "C:\\Users\\Jw\\Desktop\\python_work\\Python數據挖掘實戰課程課件\\5.3\\data.csv")

dummyColumns=["Gender", "ParentEncouragement"]

for column in dummyColumns:
    data[column]=data[column].astype("category")
    

dummiesData=pandas.get_dummies(
        data,
        columns=dummyColumns,
        prefix=dummyColumns,
        prefix_sep="=",
        drop_first=True)

dummiesData.columns

• 確定特征數據和目標數據

fData=dummiesData[[
     'ParentIncome', 'IQ', 'Gender=Male',
    'ParentEncouragement=Not Encouraged']]
    
tData=dummiesData["CollegePlans"]

我注意到：fData即是特征數據為一個DataFrame數據框，而tData則是一個Series

• 導入DecisionTreeClassifier類，然后通過cross_val_score進行評分

from sklearn.tree import DecisionTreeClassifier

dtModel=DecisionTreeClassifier(max_leaf_nodes=8)   #該處為調優

from sklearn.model_selection import cross_val_score

cross_val_score(
    dtModel,
    fData,tData,cv=10)

dtModel=DecisionTreeClassifier(max_leaf_nodes=8) 此處操作為調優操作，隨機森林在不調優前普遍高於決策樹模型