十二、案例實戰：使用sklearn構造決策樹模型

本節內容：

• 決策樹復習
• 決策樹涉及參數
• 樹可視化與sklearn庫簡介
• sklearn參數選擇

 

 

決策樹涉及參數

%matplotlib inline

import matplotlib.pyplot as plt

import pandas as pd

 

# datasets包括內置的數據集 california_housing房價的數據集
from sklearn.datasets.california_housing import fetch_california_housing
housing = fetch_california_housing()
print(housing.DESCR)
###
downloading Cal. housing from http://www.dcc.fc.up.pt/~ltorgo/Regression/cal_housing.tgz to C:\Users\user\scikit_learn_data
California housing dataset.

The original database is available from StatLib

    http://lib.stat.cmu.edu/

The data contains 20,640 observations on 9 variables.

This dataset contains the average house value as target variable
and the following input variables (features): average income,
housing average age, average rooms, average bedrooms, population,
average occupation, latitude, and longitude in that order.

References
----------

Pace, R. Kelley and Ronald Barry, Sparse Spatial Autoregressions,
Statistics and Probability Letters, 33 (1997) 291-297.

###

 

housing.data.shape#Out[5]:(20640, 8)

housing.data[0]#array([   8.3252    ,   41.        ,    6.98412698,    1.02380952,
#        322.        ,    2.55555556,   37.88      , -122.23      ])

 

from sklearn import tree
dtr = tree.DecisionTreeRegressor(max_depth = 2)
 # DecisionTreeRegressor 決策樹 max_depth 樹的最大深度
dtr.fit(housing.data[:, [6, 7]], housing.target)
 # latitude longitude  緯度經度 傳入：X y

###
DecisionTreeRegressor(criterion='mse', max_depth=2, max_features=None,
           max_leaf_nodes=None, min_impurity_split=1e-07,
           min_samples_leaf=1, min_samples_split=2,
           min_weight_fraction_leaf=0.0, presort=False, random_state=None,
           splitter='best')
###

 

 

#要可視化顯示 首先需要安裝 graphviz   http://www.graphviz.org/Download..php
dot_data = \
    tree.export_graphviz(
        dtr, # 構造矩陣名字
        out_file = None,
        feature_names = housing.feature_names[6:8], # 特征名字，用哪些特征傳哪些特征
        filled = True,
        impurity = False,
        rounded = True
    )

 

#pip install pydotplus
import pydotplus
graph = pydotplus.graph_from_dot_data(dot_data)
graph.get_nodes()[7].set_fillcolor("#FFF2DD")
from IPython.display import Image
Image(graph.create_png())

###

###

 

graph.write_png("dtr_white_background.png")#True   # 保存為本地圖片

 

from sklearn.model_selection import train_test_split
data_train, data_test, target_train, target_test = \
    train_test_split(housing.data, housing.target, test_size = 0.1, random_state = 42) # random_state = 42 值隨意，保證每次隨機完結果一樣
dtr = tree.DecisionTreeRegressor(random_state = 42)
dtr.fit(data_train, target_train)

dtr.score(data_test, target_test)

 #0.637318351331017

 

from sklearn.ensemble import RandomForestRegressor
rfr = RandomForestRegressor( random_state = 42)
rfr.fit(data_train, target_train)
rfr.score(data_test, target_test)

#0.79086492280964926

 

樹模型參數:

• 1.criterion gini or entropy

• 2.splitter best or random 前者是在所有特征中找最好的切分點 后者是在部分特征中（數據量大的時候）

• 3.max_features None（所有），log2，sqrt，N 特征小於50的時候一般使用所有的

• 4.max_depth 數據少或者特征少的時候可以不管這個值，如果模型樣本量多，特征也多的情況下，可以嘗試限制下

• 5.min_samples_split 如果某節點的樣本數少於min_samples_split，則不會繼續再嘗試選擇最優特征來進行划分如果樣本量不大，不需要管這個值。如果樣本量數量級非常大，則推薦增大這個值。

• 6.min_samples_leaf 這個值限制了葉子節點最少的樣本數，如果某葉子節點數目小於樣本數，則會和兄弟節點一起被剪枝，如果樣本量不大，不需要管這個值，大些如10W可是嘗試下5

• 7.min_weight_fraction_leaf 這個值限制了葉子節點所有樣本權重和的最小值，如果小於這個值，則會和兄弟節點一起被剪枝默認是0，就是不考慮權重問題。一般來說，如果我們有較多樣本有缺失值，或者分類樹樣本的分布類別偏差很大，就會引入樣本權重，這時我們就要注意這個值了。

• 8.max_leaf_nodes 通過限制最大葉子節點數，可以防止過擬合，默認是"None”，即不限制最大的葉子節點數。如果加了限制，算法會建立在最大葉子節點數內最優的決策樹。如果特征不多，可以不考慮這個值，但是如果特征分成多的話，可以加以限制具體的值可以通過交叉驗證得到。

• 9.class_weight 指定樣本各類別的的權重，主要是為了防止訓練集某些類別的樣本過多導致訓練的決策樹過於偏向這些類別。這里可以自己指定各個樣本的權重如果使用“balanced”，則算法會自己計算權重，樣本量少的類別所對應的樣本權重會高。

• 10.min_impurity_split 這個值限制了決策樹的增長，如果某節點的不純度(基尼系數，信息增益，均方差，絕對差)小於這個閾值則該節點不再生成子節點。即為葉子節點 。

• n_estimators:要建立樹的個數

 

from sklearn.grid_search import GridSearchCV  # GridSearchCV 自動設置參數組合
tree_param_grid = { 'min_samples_split': list((3,6,9)),'n_estimators':list((10,50,100))}
grid = GridSearchCV(RandomForestRegressor(),param_grid=tree_param_grid, cv=5)  # cv交叉驗證(切分的是訓練集)
grid.fit(data_train, target_train)
grid.grid_scores_, grid.best_params_, grid.best_score_

###

Out[24]:
([mean: 0.78405, std: 0.00505, params: {'min_samples_split': 3, 'n_estimators': 10},
  mean: 0.80529, std: 0.00448, params: {'min_samples_split': 3, 'n_estimators': 50},
  mean: 0.80673, std: 0.00433, params: {'min_samples_split': 3, 'n_estimators': 100},
  mean: 0.79016, std: 0.00124, params: {'min_samples_split': 6, 'n_estimators': 10},
  mean: 0.80496, std: 0.00491, params: {'min_samples_split': 6, 'n_estimators': 50},
  mean: 0.80671, std: 0.00408, params: {'min_samples_split': 6, 'n_estimators': 100},
  mean: 0.78747, std: 0.00341, params: {'min_samples_split': 9, 'n_estimators': 10},
  mean: 0.80481, std: 0.00322, params: {'min_samples_split': 9, 'n_estimators': 50},
  mean: 0.80603, std: 0.00437, params: {'min_samples_split': 9, 'n_estimators': 100}],
 {'min_samples_split': 3, 'n_estimators': 100},
 0.8067250881273065)
###

 

rfr = RandomForestRegressor( min_samples_split=3,n_estimators = 100,random_state = 42)
rfr.fit(data_train, target_train)
rfr.score(data_test, target_test)



#Out[29]:0.80908290496531576

 

pd.Series(rfr.feature_importances_, index = housing.feature_names).sort_values(ascending = False)

###

Out[31]:
MedInc        0.524257
AveOccup      0.137947
Latitude      0.090622
Longitude     0.089414
HouseAge      0.053970
AveRooms      0.044443
Population    0.030263
AveBedrms     0.029084
dtype: float64
###