【機器學習】基於線性回歸的波士頓房價預測

 

import pandas as pd
from sklearn.datasets import load_boston  # 波士頓房價數據
from sklearn.model_selection import train_test_split  # 拆分數據集
from sklearn.preprocessing import StandardScaler  # 標准差標准化
from sklearn.linear_model import LinearRegression  # 線性回歸模型
from sklearn.linear_model import SGDRegressor  # 線性回歸模型
from sklearn.linear_model import Ridge  # 嶺回歸
import matplotlib.pyplot as plt
import numpy as np


def show_res(y_true, y_predict):
    """
    結果顯示
    :param y_true: 真實房價
    :param y_predict: 預測房價
    :return: None
    """
    # 1、創建畫布

    plt.figure()
    # 默認不支持中文
    # 修改RC參數，來讓其支持中文
    plt.rcParams['font.sans-serif'] = 'SimHei'
    plt.rcParams['axes.unicode_minus'] = False
    # 2、繪圖
    x = np.arange(1, y_predict.shape[0] + 1)
    # 真實值的走勢
    plt.plot(x, y_true, marker="*", color="g", linestyle=":", markersize=4)
    # 預測值的走勢
    plt.plot(x, y_predict, marker="o", color="pink", markersize=4)

    # 增加圖例
    plt.legend(["真實房價", "預測房價"])
    # 增加標題
    plt.title("波士頓房價真實與預測房價走勢圖")

    # 保存圖片---如果在show之后保存圖片，那么圖片是完全空白的
    plt.savefig("./波士頓房價真實與預測房價走勢圖.png")
    # 3、展示
    plt.show()


# 1、加載數據
boston_data = load_boston()
# print("boston_data:\n", boston_data)

# 2、獲取特征值、獲取目標值、獲取特征名稱
feature = boston_data["data"]
print("feature:\n", feature)
print("feature 的形狀:\n", feature.shape)

#
target = boston_data["target"]
print("target:\n", target)
print("target 的形狀:\n", target.shape)

#
feature_names = boston_data["feature_names"]
print("feature_names:\n", feature_names)
print("feature_names 的形狀:\n", feature_names.shape)
print("*" * 100)

# 3、可以將boston_data 保存到本地
# df.to_xxx pandas 中數據保存形式
# 將特征值轉化為df
# df_feature = pd.DataFrame(data=feature, columns=feature_names)
# print("df_feature:\n", df_feature)
# # 將目標值轉化為df
# df_target = pd.DataFrame(data=target, columns=["MEDV"])
# print("df_target:\n", df_target)
# print("*" * 100)
#
# # 拼接特征值與目標值
# res_data = pd.concat((df_feature, df_target), axis=1)
# print("res_data:\n", res_data)
#
# # 保存數據
# res_data.to_excel("./boston_data.xlsx", index=False)

# 3、拆分數據集
# 之前 手動拆分 data 為完整數據集：   data[:400,:] 訓練集  data[400:,:]測試集
# 拆分數據集
# 參數1  特征值
# 參數2 目標值
# 參數3 test_size ---測試集占比
# 特征值（訓練集的特征值、測試集的特征值）   目標值（訓練集的目標值、測試集的目標值）
# 隨機拆分---默認的
# random_state ---給定值，把數據集拆分固定
# 如果要進行超參數優化，數據集必須固定
# 訓練集：測試集  = 7:3
# 訓練集、驗證集、測試集 = 8:1:1
# 驗證集----驗證超參數
train_x, test_x, train_y, test_y = train_test_split(feature, target, test_size=0.3, random_state=1)
print("訓練集的特征值:\n", train_x)
print("訓練集的特征值:\n", train_x.shape)
print("訓練集的目標值:\n", train_y)
print("訓練集的目標值:\n", train_y.shape)
print("測試集的特征值:\n", test_x)
print("測試集的特征值:\n", test_x.shape)
print("測試集的目標值:\n", test_y)
print("測試集的目標值:\n", test_y.shape)
print("*" * 100)

# 檢測缺失值、處理缺失值 ---這個數據集無缺失值處理
# 處理異常值 ---這個數據集無異常值處理
# 標准化處理----法1
# # （1）實例化對象
stand = StandardScaler()
# # (2)標准化數據
# # 需要標准化哪些數據？？？？--量級相差較大
# # 特征值需要標准化，目標值不需要標准化
# # 線性回歸求解---w,b
# # 特征值標准化，目標值不標准化，---w,b,如果得到新的標准化之后的特征值，代入模型，得到的預測值是真實的房價
# # fit_transform ---(x - x.mean() / x.std())
# (1)計算自身的指標（2）進行轉化數據
train_x = stand.fit_transform(train_x)
test_x = stand.fit_transform(test_x)

print("標准化之后的數據：\n", train_x)
print("標准化之后的數據：\n", test_x)

# 標准化處理---法2
# (1)實例化對象
# stand = StandardScaler()
# # （2）標准化數據
# # 計算指標
# stand.fit(train_x)
# # 轉化
# train_x = stand.transform(train_x)
# # 利用訓練集的特征值的指標來轉化測試集的特征
# test_x = stand.transform(test_x)


# # 線性回歸算法進行房價預測
# # LinearRegression 基於正規方程的求解方式的線性回歸
# # 應用於數據較小，特征較少，模型構建不復雜的情況下
# (1)構建算法實例
lr = LinearRegression()
# （2）訓練數據
lr.fit(train_x, train_y)
# (3)預測數據
y_predict = lr.predict(test_x)

# 獲取准確率
score = lr.score(test_x, test_y)

# 獲取權重與偏置
weight = lr.coef_
bias = lr.intercept_

print("准確率為：\n", score)
print("權重為：\n", weight)
print("偏置為：\n", bias)
print("預測值：\n", y_predict)

# (1)構建算法實例
# 用於數據量較大、特征較多、模型較大的情況下
# 隨機梯度下降優化算法進行求解w,b
# 梯度方向---隨機的
# 學習率---
# penalty= "l2" 正則化--L2正則化，alpha--正則化力度
# learning_rate = "invscaling" --默認學習率
# 想要更改學習率
# （1）將learning_rate ="constant",（2）再去更改eta0的值
# 更改的學習率：不能過大，可能會造成梯度爆炸現象--會出現NaN的結果，
# 也不能過小，會造成梯度消失，只訓練而損失與准確率不變的情況
# sgd = SGDRegressor()
# # （2）訓練數據
# sgd.fit(train_x, train_y)
# # (3)預測數據
# y_predict = sgd.predict(test_x)
#
# # 獲取准確率
# score = sgd.score(test_x, test_y)
#
# # 獲取權重與偏置
# weight = sgd.coef_
# bias = sgd.intercept_
#
# print("准確率為：\n", score)
# print("權重為：\n", weight)
# print("偏置為：\n", bias)
# print("預測值：\n", y_predict)


# (1)構建算法實例
# 線性回歸 + L2正則化  ---嶺回歸
# 數據量較小，特征較少、模型不復雜的情況，也可以使用嶺回歸
# rd = Ridge()
# # （2）訓練數據
# rd.fit(train_x, train_y)
# # (3)預測數據
# y_predict = rd.predict(test_x)
#
# # 獲取准確率
# score = rd.score(test_x, test_y)
#
# # 獲取權重與偏置
# weight = rd.coef_
# bias = rd.intercept_
#
# print("准確率為：\n", score)
# print("權重為：\n", weight)
# print("偏置為：\n", bias)
# print("預測值：\n", y_predict)

# 增加可視化---看真實值的走勢 與預測值之間走勢
show_res(test_y, y_predict)