【學習筆記】回歸算法-嶺回歸

具有L2正則化的線性最小二乘法。嶺回歸是一種專用於線性數據分析的有偏估計回歸方法，實質上是一種改良的最小二乘估計法，通過放棄最小二乘法的無偏性，以損失部分信息、降低精度為代價獲得回歸系數更為符合實際、更可靠的回歸方法，對病態數據的擬合要強於最小二乘法。當數據集中存在共線性的時候，嶺回歸就會有用。

正則化程度的變化，對結果的影響：

sklearn.linear_model.Ridge(alpha=1.0)

• 具有l2正則化的線性最小二乘法
• alpha:正則化力度
• coef_:回歸系數

使用嶺回歸預測【學習筆記】回歸算法-線性回歸中的波斯頓房價的例子：

from sklearn.linear_model import Ridge
...
# 嶺回歸預測房價
rd = Ridge(alpha=1.0)
rd.fit(x_train, y_train)
print(rd.coef_)
y_rd_predict = std_y.inverse_transform(rd.predict(x_test))
print("嶺回歸預測的房子價格：", y_rd_predict)
print("嶺回歸的均方誤差:", mean_squared_error(std_y.inverse_transform(y_test), y_rd_predict))

線性回歸 LinearRegression與Ridge對比:嶺回歸：回歸得到的回歸系數更符合實際，更可靠。另外，能讓估計參數的波動范圍變小，變的更穩定。在存在病態數據偏多的研究中有較大的實用價值。