線性回歸

線性回歸(Linear regression)是利用回歸方程(函數)對一個或多個自變量(特征值)和因變量(目標值)之間關系進行建模的一種分析方式。

特點：只有一個自變量的情況稱為單變量回歸，大於一個自變量情況的叫做多元回歸

通用公式：h(w) = w₁x₁+w₂x₂+w₃x₃+...+b=w^Tx + b

其中w，x可以理解為矩陣： 

線性回歸當中的關系有兩種，一種是線性關系（單特征與目標值的關系呈直線關系，或者兩個特征與目標值呈現平面的關系），另一種是非線性關。

線性回歸損失函數定義為：

• y_i為第i個訓練樣本的真實值
• h(x_i)為第i個訓練樣本特征值組合預測函數
• 又稱最小二乘法

 

線性回歸經常使用的兩種優化算法：

1. 正規方程

理解：X為特征值矩陣，y為目標值矩陣。直接求到最好的結果

缺點：當特征過多過復雜時，求解速度太慢並且得不到結果

 

2. 梯度下降(Gradient Descent)

理解：α為學習速率，需要手動指定（超參數），α旁邊的整體表示方向，沿着這個函數下降的方向找，最后就能找到山谷的最低點，然后更新W值

使用：面對訓練數據規模十分龐大的任務 ，能夠找到較好的結果

 

sklearn提供的線性回歸API

sklearn.linear_model.LinearRegression(fit_intercept=True)

通過正規方程優化
fit_intercept：是否計算偏置
LinearRegression.coef_：回歸系數
LinearRegression.intercept_：偏置
sklearn.linear_model.SGDRegressor(loss="squared_loss", fit_intercept=True, learning_rate ='invscaling', eta0=0.01)

通過使用SGD優化
loss:損失類型 *
fit_intercept：是否計算偏置
learning_rate : string, optional

學習率填充
'constant': eta = eta0
'optimal': eta = 1.0 / (alpha * (t + t0)) [default]
'invscaling': eta = eta0 / pow(t, power_t)
power_t=0.25:存在父類當中
SGDRegressor.coef_：回歸系數
SGDRegressor.intercept_：偏置

 

示例： 波士頓房價預測

數據集來源：UCI datasets 

 

 

分析
回歸當中的數據大小不一致，會導致結果影響較大，所以需要做標准化處理，同時對目標值也需要做標准化處理。
1. 數據分割與標准化處理
2. 回歸預測
3. 線性回歸的算法效果評估

 

回歸性能評估

均方誤差(Mean Squared Error)MSE)評價機制：

yⁱ為預測值，¯y為真實值

 

回歸性能評估的sklearn API：

sklearn.metrics.mean_squared_error(y_true, y_pred)
均方誤差回歸損失
y_true:真實值
y_pred:預測值
return:浮點數結果

 

完整代碼：

from sklearn.model_selection import train_test_split
from sklearn.metrics import mean_squared_error
from sklearn.linear_model import (
    LinearRegression,
    SGDRegressor
)
from sklearn.preprocessing import StandardScaler
from sklearn.datasets import load_boston


def mylinearregression():
    """
    線性回歸預測房價
    :return:
    """
    lb = load_boston()

    # 對數據集進行划分
    x_train, x_test, y_train, y_test = train_test_split(
        lb.data, lb.target, test_size=0.3, random_state=24
    )

    # 需要做標准化處理對於特征值處理
    std_x = StandardScaler()

    x_train = std_x.fit_transform(x_train)
    x_test = std_x.fit_transform(x_test)

    # 對於目標值進行標准化
    std_y = StandardScaler()

    y_train = std_y.fit_transform(y_train.reshape(-1, 1))
    y_test = std_y.transform(y_test.reshape(-1, 1))

    y_test = std_y.inverse_transform(y_test)

    # 使用線性模型進行預測 使用正規方程求解
    lr = LinearRegression()
    lr.fit(x_train, y_train)

    y_lr_predict = std_y.inverse_transform(lr.predict(x_test))

    print("正規方程預測的結果為：", y_lr_predict)
    print("正規方程的均方誤差為：", mean_squared_error(y_test, y_lr_predict))

    # 梯度下降進行預測
    sgd = SGDRegressor()
    sgd.fit(x_train, y_train)
    print("SGD的權重參數為：", sgd.coef_)

    y_sgd_predict = std_y.inverse_transform(sgd.predict(x_test))
    print("SGD的預測的結果為：", y_sgd_predict)
    print("SGD的均方誤差為：", mean_squared_error(y_test, y_sgd_predict))

    return None


mylinearregression()

 

執行結果

 

 梯度下降預測方法：

SGDRegressor()

def __init__(self, loss="squared_loss", penalty="l2", alpha=0.0001,
                 l1_ratio=0.15, fit_intercept=True, max_iter=None, tol=None,
                 shuffle=True, verbose=0, epsilon=DEFAULT_EPSILON,
                 random_state=None, learning_rate="invscaling", eta0=0.01,
                 power_t=0.25, early_stopping=False, validation_fraction=0.1,
                 n_iter_no_change=5, warm_start=False, average=False,
                 n_iter=None):

通過調參，可以找到學習率效果更好的值

 

線性回歸的兩種優化方法對比：

梯度下降	正規方程
需要選擇學習率	不需要
需要迭代求解	一次運算得出
特征數量較大可以使用	需要計算方程，時間復雜度高O(n3)

 適用范圍：

• 小規模數據：
  • LinearRegression(不能解決擬合問題)
  • 嶺回歸
• 大規模數據：SGDRegressor