多元線性回歸模型中，如果所有特征一起上，容易造成過擬合使測試數據誤差方差過大；因此減少不必要的特征，簡化模型是減小方差的一個重要步驟。除了直接對特征篩選，來也可以進行特征壓縮，減少某些不重要的特征系數，系數壓縮趨近於0就可以認為舍棄該特征。
嶺回歸（Ridge Regression）和Lasso回歸是在普通最小二乘線性回歸的基礎上加上正則項以對參數進行壓縮懲罰。
首先，對於普通的最小二乘線性回歸，它的代價函數是：
通過擬合系數β來使RSS最小。方法很簡單，求偏導利用線性代數解方程組即可。
根據線性代數的理論可知，只要樣本量合適，它就存在唯一解，也就是該模型的最優解。
這么做盡管使RSS達到了最小，它還是把所有的特征看作同樣重要的程度來求解，並沒有做任何特征選擇，因此存在過擬合的可能。
嶺回歸在OLS回歸模型的RSS上加上了懲罰項（l2范數），這樣代價函數就成為：
λ是一個非負的調節參數，可以看到：當λ=0時，此時它與RSS一致，沒有起到任何懲罰作用；當λ -> ∞時，它的懲罰項也就是無窮大，而為了使代價函數最小，只能壓縮系數β趨近於0。
但是因為λ不可能為無窮大，二次項求偏導時總會保留變量本身，所以事實上它也不可能真正地將某個特征壓縮為0。盡管系數較小可以有效減小方差，但依然留着一大長串特征會使模型不便於解釋。這是嶺回歸的缺點。
lasso回歸的正項則就把二次項改成了一次絕對值（l1范數），具體為：
一次項求導可以抹去變量本身，因此lasso回歸的系數可以為0。這樣可以起來真正的特征篩選效果。
無論對於嶺回歸還是lasso回歸，本質都是通過調節λ來實現模型誤差vs方差的平衡調整。
訓練構建嶺回歸模型
> library(ISLR)
> Hitters = na.omit(Hitters)
> x = model.matrix(Salary~., Hitters)[,-1] # 構建回歸設計矩陣
> y = Hitters$Salary
>
> library(glmnet)
> grid = 10^seq(10,-2,length = 100) # 生成100個λ值
> ridge.mod = glmnet(x,y,alpha = 0,lambda = grid) # alpha為0表示嶺回歸模型，為1表示lasso回歸模型
>
> dim(coef(ridge.mod)) # 20*100的系數矩陣。20是19個特征+截距項，100是λ值
[1] 20 100
>
> # 顯然可見l2范數越大，系數就越小
> ridge.mod$lambda[50]
[1] 11497.57
> coef(ridge.mod)[,50]
(Intercept) AtBat Hits HmRun Runs
407.356050200 0.036957182 0.138180344 0.524629976 0.230701523
RBI Walks Years CAtBat CHits
0.239841459 0.289618741 1.107702929 0.003131815 0.011653637
CHmRun CRuns CRBI CWalks LeagueN
0.087545670 0.023379882 0.024138320 0.025015421 0.085028114
DivisionW PutOuts Assists Errors NewLeagueN
-6.215440973 0.016482577 0.002612988 -0.020502690 0.301433531
> ridge.mod$lambda[60]
[1] 705.4802
> coef(ridge.mod)[,60]
(Intercept) AtBat Hits HmRun Runs
54.32519950 0.11211115 0.65622409 1.17980910 0.93769713
RBI Walks Years CAtBat CHits
0.84718546 1.31987948 2.59640425 0.01083413 0.04674557
CHmRun CRuns CRBI CWalks LeagueN
0.33777318 0.09355528 0.09780402 0.07189612 13.68370191
DivisionW PutOuts Assists Errors NewLeagueN
-54.65877750 0.11852289 0.01606037 -0.70358655 8.61181213
>
> # 輸入一個新的λ，比如50，來預測系數
> predict(ridge.mod,s=50,type="coefficients")[1:20,]
(Intercept) AtBat Hits HmRun Runs
4.876610e+01 -3.580999e-01 1.969359e+00 -1.278248e+00 1.145892e+00
RBI Walks Years CAtBat CHits
8.038292e-01 2.716186e+00 -6.218319e+00 5.447837e-03 1.064895e-01
CHmRun CRuns CRBI CWalks LeagueN
6.244860e-01 2.214985e-01 2.186914e-01 -1.500245e-01 4.592589e+01
DivisionW PutOuts Assists Errors NewLeagueN
-1.182011e+02 2.502322e-01 1.215665e-01 -3.278600e+00 -9.496680e+00
>
> # 划分訓練集和測試集
> set.seed(1)
> train = sample(1:nrow(x),nrow(x)/2)
> test = (-train)
> y.test = y[test]
>
> # 訓練模型，並計算λ=4時的MSE
> ridge.mod = glmnet(x[train,],y[train],alpha = 0,lambda = grid,thresh = 1e-12)
> ridge.pred = predict(ridge.mod,s=4,newx = x[test,])
> mean((ridge.pred - y.test)^2)
[1] 101036.8
>
> # 增大λ為10的10^10，此時可視為各個特征都被壓縮趨近為0，基本只剩截距項起作用
> ridge.pred = predict(ridge.mod,s=1e10,newx = x[test,])
> mean((ridge.pred - y.test)^2) # MSE更大
[1] 193253.1
>
> # 計算當λ=0也就是不加懲罰的最小二乘回歸
> ridge.pred = predict(ridge.mod,s=0,newx = x[test,])
> mean((ridge.pred - y.test)^2) # MSE減小
[1] 114723.6
>
> ## 以上結果說明，如果λ選得不合適，結果不一定就比最小二乘回歸模型更優。至於怎么選擇λ，就用交叉驗證法。
>
> set.seed(1)
> cv.out = cv.glmnet(x[train,],y[train],alpha=0)
> plot(cv.out)
> bestlam = cv.out$lambda.min
> bestlam # MSE最小的λ約為212
[1] 211.7416
>
> ridge.pred = predict(ridge.mod,s=bestlam,newx = x[test,])
> mean((ridge.pred - y.test)^2) # MSE減小
[1] 96015.51
>
> # 基於整個數據集構建嶺回歸模型
> out = glmnet(x,y,alpha = 0)
> predict(out,type = "coefficients",s=bestlam)[1:20,]
(Intercept) AtBat Hits HmRun Runs
9.88487157 0.03143991 1.00882875 0.13927624 1.11320781
RBI Walks Years CAtBat CHits
0.87318990 1.80410229 0.13074381 0.01113978 0.06489843
CHmRun CRuns CRBI CWalks LeagueN
0.45158546 0.12900049 0.13737712 0.02908572 27.18227535
DivisionW PutOuts Assists Errors NewLeagueN
-91.63411299 0.19149252 0.04254536 -1.81244470 7.21208390
>
> ## 可見嶺回歸模型還是19個特征，沒有舍棄任何特征！
cv.out的圖如下：
當log(λ)為5.+時（log(bestlam)=5.3），MSE最小。
訓練構建lasso回歸模型
> lasso.mod = glmnet(x[train,],y[train],alpha = 1,lambda = grid)
> plot(lasso.mod) # 可見有些特征的系數確實可以為0
>
> set.seed(1)
> cv.out = cv.glmnet(x[train,],y[train],alpha =1)
> plot(cv.out)
> bestlam = cv.out$lambda.min
> bestlam # MSE最小的λ約為16
[1] 16.78016
> lasso.pred = predict(lasso.mod,s=bestlam,newx = x[test,])
> mean((lasso.pred-y.test)^2)
[1] 100743.4
>
> ## 可見lasso回歸模型與嶺回歸模型MSE差不多，甚至嶺回歸模型的MSE更小一些。
>
> out = glmnet(x,y,alpha = 1,lambda = grid)
> lasso.coef = predict(out,type="coefficients",s=bestlam)[1:20,]
> lasso.coef
(Intercept) AtBat Hits HmRun Runs
18.5394844 0.0000000 1.8735390 0.0000000 0.0000000
RBI Walks Years CAtBat CHits
0.0000000 2.2178444 0.0000000 0.0000000 0.0000000
CHmRun CRuns CRBI CWalks LeagueN
0.0000000 0.2071252 0.4130132 0.0000000 3.2666677
DivisionW PutOuts Assists Errors NewLeagueN
-103.4845458 0.2204284 0.0000000 0.0000000 0.0000000
>
> ## 可見lasso回歸模型中，有12個特征系數被壓縮至0。相對於嶺回歸模型，這里的lasso回歸模型以犧牲一部分的准確度為代價，換取更簡潔的模型，增加模型的可解釋性。這是lasso回歸的優勢。