Python數據挖掘—分類—隨機森林

 

概念

隨機森林(RandomForest)：隨機森林是一個包含多個決策樹的分類器，並且其輸出的類別是由個別數輸出的類別的眾數而定

優點：適合離散型和連續型的屬性數據；對海量數據，盡量避免了過度擬合的問題；對高維數據，不會出現特征選擇困難的問題；實現簡單，訓練速度快，適合 進行分布式計算

import pandas;

data = pandas.read_csv(
    "D:\\PDM\\5.3\\data.csv"
);

dummyColumns = ["Gender", "ParentEncouragement"]

for column in dummyColumns:
    data[column]=data[column].astype('category')

dummiesData = pandas.get_dummies(
    data, 
    columns=dummyColumns,
    prefix=dummyColumns,
    prefix_sep="=",
    drop_first=True
)
dummiesData.columns

fData = dummiesData[[
    'ParentIncome', 'IQ', 'Gender=Male',
    'ParentEncouragement=Not Encouraged'
]]

tData = dummiesData["CollegePlans"]

from sklearn.tree import DecisionTreeClassifier
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score

dtModel = DecisionTreeClassifier()

dtScores = cross_val_score(
    dtModel, 
    fData, tData, cv=10
)

dtScores.mean()

rfcModel = RandomForestClassifier()

rfcScores = cross_val_score(
    rfcModel, 
    fData, tData, cv=10
)

rfcScores.mean()

 

決策樹評分：

隨機森林評分：

發現隨機森林在不調優的情況下，得分高於決策樹模型

調優：設置：max_leaf_nodes=8

#對連個模型進行調優
dtModel=DecisionTreeClassifier(max_leaf_nodes=8)

dtScores=cross_val_score(
        dtModel,
        fData,tData,cv=10)

dtScores.mean()

rfcModel=RandomForestClassifier(max_leaf_nodes=8)

rfcScores=cross_val_score(
    rfcModel,
    fData,tData,cv=10)

rfcScores.mean()

決策樹評分：

隨機森林評分：