[機器學習]-決策樹-最簡單的入門實戰例子

本文主要介紹決策樹的基本概念和如最簡單的入門實例

第一部分--基本概念：

　　什么是決策樹？

　　　　我不打算搞一段標准的定義放在這里，我個人理解是建立一個樹來幫助決策，下面以一個圖說明一下（注：圖是盜別人的）

　　　　　　

 

　　　　這就是一個決策樹，從圖中可以一目了然的了解決策樹的概念，上面的圖中只有一個屬性來決定這個人是男還是女，一個屬性往往決定的結果並不准確，比如小孩都沒有胡子，但是並不能認為小孩都是女孩，這顯然不行，那怎么辦？如果想相對准確判斷，需要再增加屬性，比如增加個喉結，如下圖：

　　　　　　

　　　　上圖就是由兩個屬性來決定結果，那引出了一個重要的問題，是從胡子開始分，還是從喉結開始分呢？就是每個節點為什么是這樣排序，就引出了信息熵的概念

　　什么是信息熵？

　　　　　　簡單來說信息熵，就是反映一個系統的混亂程度，越有序的系統，信息熵越小，反之越大，上面是用了胡子和喉結作為屬性來判斷一個人是男是女，但是這個系統的不確定性還是很大的，比如一個沒有喉結又沒有胡子的人，並不一定是女人，可能是小孩，那如果根據這個人有沒有JJ，作為判斷的依據，那不確定性就會很低，信息熵就會很小。

　　　　　　這里沒有舉個具體的數字計算，也沒有貼公式，主要是編輯數學公式太麻煩，其實公式就是信息的期望。

　　　　　　通過上面的介紹，就可以知道，可以通過計算信息熵來確定從哪個屬性開始分，哪個屬性作為根節點。

　　

第二部分--代碼：

　　I.數據如下：（goatee 翻譯 胡子），只有四個樣本，測試樣本就一個，在代碼中有

　　　　

　　II.代碼：

# -*- coding: utf-8 -*-
import pandas as pd
from sklearn.feature_extraction import DictVectorizer
from sklearn.preprocessing.label import  LabelBinarizer
from sklearn import tree

def decision_tree():
    df = pd.read_excel('../data/K-NN/DecisionTree.xlsx')
　　#要預測的值
    label_feature = df['sex'].values
    print('label_feature:\n'+str(label_feature))
　　#屬性
    df_feature = df['goatee']
    feature_list = []
    for i in df_feature.values:
        dt_dict = {}
        dt_dict['goatee'] = i
        feature_list.append(dt_dict)
　　#封裝成需要的數據格式
    print('feature_list:\n' + str(feature_list))
    dcv = DictVectorizer()
　　#將字典轉化為數字
    dummyX = dcv.fit_transform(feature_list).toarray()
    print('dummyX:\n'+ str(dummyX))
    lb = LabelBinarizer()
    dummyY = lb.fit_transform(label_feature)
    # dummy = dcv.fit_transform(label_feature)
    print('dummyY:\n' + str(dummyY))
　　#使用信息熵的規則進行分類
    clf = tree.DecisionTreeClassifier(criterion='entropy')
    clf = clf.fit(dummyX,dummyY)
　　#生成測試數據
    oneDummyX = dummyX[0]
    oneDummyX[0] = 0
    newDummyX = oneDummyX
    print('feature_names'+str(dcv.get_feature_names()))
    print('newDummyX:\n'+str(newDummyX))
　　#使用測試數據進行預測
    prediction = clf.predict([newDummyX])
    print('prediction:\n'+str(prediction))
if __name__ == '__main__':
    decision_tree()

----------------------------------------------------------菇涼滑溜溜的馬甲線-----------------------------------------------------

#輸出結果為：
label_feature:
　　['man' 'woman' 'man' 'woman']
feature_list：
　　[{'goatee': 'yes'}, {'goatee': 'no'}, {'goatee': 'yes'}, {'goatee': 'no'}]
dummyX:
　　[[0. 1.]
 　　[1. 0.]
 　　[0. 1.]
 　　[1. 0.]]
dummyY:
　　[[0]
 　　[1]
 　　[0]
 　　[1]]
feature_names:
　　['goatee=no', 'goatee=yes']
newDummyX:
　　[0. 1.]
prediction:
　　[0]