在介紹嶺回歸算法與Lasso回歸算法之前，先要回顧一下線性回歸算法。根據線性回歸模型的參數估計公式可知可知，得到的前提是矩陣可逆。換句話說就是樣本各個特征（自變量）之間線性無關。然而在實際問題中，常常會出現特征之間出現多重共線性的情況，使得行列式的值接近於0，最終造成回歸系數無解或者無意義。
為了解決這個問題，嶺回歸算法的方法是在線性回歸模型的目標函數之上添加一個l2的正則項，進而使得模型的回歸系數有解。具體的嶺回歸目標函數可表示為如下：
在Python中，嶺回歸算法的實現方法如下。
在Python中sklearn算法包已經實現了所有基本機器學習的算法。直接
from sklearn.linear_model import Ridge,RidgeCV
就可以調用該算法。
Iris數據集的加載與預處理已在前文中介紹過，此處不再累述。定義嶺回歸算法的方法為如下：
rigdeCV = RidgeCV(alphas=Lambdas,normalize=True,scoring='neg_mean_squared_error',cv=15)
其中alphas用於指定多個λ值的元組或數組對象，默認該參數包含0.1、1和10三個值。normalize指是否對數據集進行歸一化處理。scoring指的是用於評估模型的度量方法，此處為RMSE均分誤差。cv指交叉驗證的重數。
此處我使用的是15重交叉驗證法確定的λ值。上面Lambdas為logspace方法生成的數組。
Lambdas = np.logspace(-5,2,200)
最后訓練，測試：
rigdeCV.fit(X_train,Y_train)
predictedResult = rigdeCV.predict(X_test)
注意此處predictedResult為Series不是List。
此時嶺回歸算法分類正確率為0.8。
嶺回歸算法固然解決了線性回歸模型中矩陣不可逆的問題。但嶺回歸算法無論如何會保留建模時所有的變量，無法降低模型的復雜度。為了克服嶺回歸算法的缺點，Lasso回歸算法被提了出來。
與嶺回歸算法類似，Lasso回歸算法同樣屬於縮減性估計。而且在回歸系數的縮減過程中，可以將一些不重要的回歸系數縮減為0，以打到變量篩選的目的。Lasso回歸算法的目標函數為如下：
具體在Python上實現的方式與嶺回歸算法類似，先導入liner_model中的LassoCV類，然后就可以使用：
lasso_cv = LassoCV(alphas=Lambdas,normalize=True,cv=10,max_iter=10000)
這里max_iter指的是模型最大迭代次數。其它參數與嶺回歸類似。
此時Lasso回歸算法的准確率為0.8。
由於嶺回歸算法和Lasso回歸算法的相似性，在本次實驗中，二者的分類結果完全相同，分類准確率同為0.8。考慮到線性回歸並不是特別適合分類問題，所以這種結果也可以接受。下一步的學習方向是GBDT以及多種算法的綜合模型。