機器學習之路: python 回歸樹 DecisionTreeRegressor 預測波士頓房價

 

python3 學習api的使用

git: https://github.com/linyi0604/MachineLearning

代碼：

from sklearn.datasets import load_boston
from sklearn.cross_validation import train_test_split
from sklearn.preprocessing import StandardScaler
from sklearn.tree import DecisionTreeRegressor
from sklearn.metrics import r2_score, mean_squared_error, mean_absolute_error
import numpy as np

'''
回歸樹：
    嚴格上說 回歸樹不能算是回歸
    葉子節點是一團訓練數據的均值 不是連續 具體的預測值
    
    解決特征非線性的問題
    不要求特征標准化和統一量化
    
    容易過於復雜喪失泛化能力
    穩定性較差，細微改變會導致樹結構發生重大變化
    
'''

# 1 准備數據
# 讀取波士頓地區房價信息
boston = load_boston()
# 查看數據描述
# print(boston.DESCR)   # 共506條波士頓地區房價信息，每條13項數值特征描述和目標房價
# 查看數據的差異情況
# print("最大房價：", np.max(boston.target))   # 50
# print("最小房價：",np.min(boston.target))    # 5
# print("平均房價：", np.mean(boston.target))   # 22.532806324110677

x = boston.data
y = boston.target

# 2 分割訓練數據和測試數據
# 隨機采樣25%作為測試 75%作為訓練
x_train, x_test, y_train, y_test = train_test_split(x, y, test_size=0.25, random_state=33)


# 3 訓練數據和測試數據進行標准化處理
ss_x = StandardScaler()
x_train = ss_x.fit_transform(x_train)
x_test = ss_x.transform(x_test)

ss_y = StandardScaler()
y_train = ss_y.fit_transform(y_train.reshape(-1, 1))
y_test = ss_y.transform(y_test.reshape(-1, 1))

# 4 使用回歸樹進行訓練和預測
# 初始化k近鄰回歸模型 使用平均回歸進行預測
dtr = DecisionTreeRegressor()
# 訓練
dtr.fit(x_train, y_train)
# 預測 保存預測結果
dtr_y_predict = dtr.predict(x_test)

# 5 模型評估
print("回歸樹的默認評估值為：", dtr.score(x_test, y_test))
print("平回歸樹的R_squared值為：", r2_score(y_test, dtr_y_predict))
print("回歸樹的均方誤差為:", mean_squared_error(ss_y.inverse_transform(y_test),
                                           ss_y.inverse_transform(dtr_y_predict)))
print("回歸樹的平均絕對誤差為:", mean_absolute_error(ss_y.inverse_transform(y_test),
                                               ss_y.inverse_transform(dtr_y_predict)))

'''
回歸樹的默認評估值為： 0.7066505912533438
平回歸樹的R_squared值為： 0.7066505912533438
回歸樹的均方誤差為: 22.746692913385836
回歸樹的平均絕對誤差為: 3.08740157480315
'''