正則化系數


正則化 --在原有損失函數的基礎上加上一個正則化項

通常用到的有均方根誤差rmse和平均絕對誤差mae

通過限制參數過多或者過大,避免模型更加復雜,簡單來說就是降低模型的泛化錯誤率,避免模型過擬合

L1與L2的區別

L1可以實現讓參數矩陣稀疏, 且L1正則化的損失函數不不是連續可導的,

L2也稱嶺回歸功效是解決過擬合問題。當模型過於復雜,就會容易出現過擬合

L1范數懲罰(參數稀疏性懲罰),所有參數的絕對值之和,對應Lasso回歸;

原有的損失函數(loss function)后面加一個正則化項(regularizer)

 

L2范數懲罰(權重衰減懲罰),所有參數的平方和,對應嶺回歸

在Python中調用

from sklearn.linear_model import LogisticRegression as LR包中

LR(penalty="l1", solver="liblinear",C=0.5,max_iter=1000)

penalty默認情況下是l2,

當選擇L2后模型還是過擬合又或者因為模型的特征過多,想通過轉換成稀疏矩陣的方式可選L1

矩陣的稀疏性:通俗的解釋是,剔除一些不是重要的特征從而減少時間與空間的復雜

講講正則化為什么能降低過擬合程度,並且說明下下L1正則化和L2正則化

降低過擬合程度:

正則化之所以能夠降低過擬合的原因在於,正則化是結構風險最小化的一種策略實現。

給loss function加上正則化項,能使得新得到的優化目標函數h = f+normal,需要在f和normal中做一個權衡(trade-off),如果還像原來只優化f的情況下,那可能得到一組解比較復雜,使得正則項normal比較大,那么h就不是最優的,因此可以看出加正則項能讓解更加簡單,符合奧卡姆剃刀理論,同時也比較符合在偏差和方差(方差表示模型的復雜度)分析中,通過降低模型復雜度,得到更小的泛化誤差,降低過擬合程度。

L1正則化和L2正則化:

L1正則化就是在loss function后邊所加正則項為L1范數,加上L1范數容易得到稀疏解(0比較多)。L2正則化就是loss function后邊所加正則項為L2范數的平方,加上L2正則相比於L1正則來說,得到的解比較平滑(不是稀疏),但是同樣能夠保證解中接近於0(但不是等於0,所以相對平滑)的維度比較多,降低模型的復雜度。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM