機器學習之路：python 集成分類器 隨機森林分類RandomForestClassifier 梯度提升決策樹分類GradientBoostingClassifier 預測泰坦尼克號幸存者

 

python3 學習使用隨機森林分類器 梯度提升決策樹分類 的api，並將他們和單一決策樹預測結果做出對比

附上我的git，歡迎大家來參考我其他分類器的代碼: https://github.com/linyi0604/MachineLearning

 

import pandas as pd
from sklearn.cross_validation import train_test_split
from sklearn.feature_extraction import DictVectorizer
from sklearn.tree import DecisionTreeClassifier
from sklearn.metrics import classification_report
from sklearn.ensemble import RandomForestClassifier, GradientBoostingClassifier

'''
集成分類器：
綜合考量多個分類器的預測結果做出考量。
這種綜合考量大體上分兩種：
    1 搭建多個獨立的分類模型，然后通過投票的方式 比如 隨機森林分類器
        隨機森林在訓練數據上同時搭建多棵決策樹，這些決策樹在構建的時候會放棄唯一算法，隨機選取特征
    2 按照一定次序搭建多個分類模型，
        他們之間存在依賴關系，每一個后續模型的加入都需要現有模型的綜合性能貢獻，
        從多個較弱的分類器搭建出一個較為強大的分類器，比如梯度提升決策樹
        提督森林決策樹在建立的時候盡可能降低成體在擬合數據上的誤差。
        
下面將對比 單一決策樹 隨機森林 梯度提升決策樹 的預測情況

'''

'''
1 准備數據
'''
# 讀取泰坦尼克乘客數據，已經從互聯網下載到本地
titanic = pd.read_csv("./data/titanic/titanic.txt")
# 觀察數據發現有缺失現象
# print(titanic.head())

# 提取關鍵特征，sex, age, pclass都很有可能影響是否幸免
x = titanic[['pclass', 'age', 'sex']]
y = titanic['survived']
# 查看當前選擇的特征
# print(x.info())
'''
<class 'pandas.core.frame.DataFrame'>
RangeIndex: 1313 entries, 0 to 1312
Data columns (total 3 columns):
pclass    1313 non-null object
age       633 non-null float64
sex       1313 non-null object
dtypes: float64(1), object(2)
memory usage: 30.9+ KB
None
'''
# age數據列 只有633個，對於空缺的 采用平均數或者中位數進行補充 希望對模型影響小
x['age'].fillna(x['age'].mean(), inplace=True)

'''
2 數據分割
'''
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25, random_state=33)
# 使用特征轉換器進行特征抽取
vec = DictVectorizer()
# 類別型的數據會抽離出來 數據型的會保持不變
x_train = vec.fit_transform(x_train.to_dict(orient="record"))
# print(vec.feature_names_)   # ['age', 'pclass=1st', 'pclass=2nd', 'pclass=3rd', 'sex=female', 'sex=male']
x_test = vec.transform(x_test.to_dict(orient="record"))

'''
3.1 單一決策樹 訓練模型 進行預測
'''
# 初始化決策樹分類器
dtc = DecisionTreeClassifier()
# 訓練
dtc.fit(x_train, y_train)
# 預測 保存結果
dtc_y_predict = dtc.predict(x_test)

'''
3.2 使用隨機森林 訓練模型 進行預測
'''
# 初始化隨機森林分類器
rfc = RandomForestClassifier()
# 訓練
rfc.fit(x_train, y_train)
# 預測
rfc_y_predict = rfc.predict(x_test)

'''
3.3 使用梯度提升決策樹進行模型訓練和預測
'''
# 初始化分類器
gbc = GradientBoostingClassifier()
# 訓練
gbc.fit(x_train, y_train)
# 預測
gbc_y_predict = gbc.predict(x_test)


'''
4 模型評估
'''
print("單一決策樹准確度:", dtc.score(x_test, y_test))
print("其他指標：\n", classification_report(dtc_y_predict, y_test, target_names=['died', 'survived']))

print("隨機森林准確度:", rfc.score(x_test, y_test))
print("其他指標：\n", classification_report(rfc_y_predict, y_test, target_names=['died', 'survived']))

print("梯度提升決策樹准確度:", gbc.score(x_test, y_test))
print("其他指標：\n", classification_report(gbc_y_predict, y_test, target_names=['died', 'survived']))

'''
單一決策樹准確度: 0.7811550151975684
其他指標：
              precision    recall  f1-score   support

       died       0.91      0.78      0.84       236
   survived       0.58      0.80      0.67        93

avg / total       0.81      0.78      0.79       329

隨機森林准確度: 0.78419452887538
其他指標：
              precision    recall  f1-score   support

       died       0.91      0.78      0.84       237
   survived       0.58      0.80      0.68        92

avg / total       0.82      0.78      0.79       329

梯度提升決策樹准確度: 0.790273556231003
其他指標：
              precision    recall  f1-score   support

       died       0.92      0.78      0.84       239
   survived       0.58      0.82      0.68        90

avg / total       0.83      0.79      0.80       329

'''