正則化 --在原有損失函數的基礎上加上一個正則化項
通常用到的有均方根誤差rmse和平均絕對誤差mae
通過限制參數過多或者過大，避免模型更加復雜,簡單來說就是降低模型的泛化錯誤率,避免模型過擬合
L1與L2的區別
L1可以實現讓參數矩陣稀疏, 且L1正則化的損失函數不不是連續可導的,
L2也稱嶺回歸功效是解決過擬合問題。當模型過於復雜，就會容易出現過擬合
L1范數懲罰（參數稀疏性懲罰）,所有參數的絕對值之和，對應Lasso回歸；
原有的損失函數（loss function）后面加一個正則化項（regularizer）
L2范數懲罰（權重衰減懲罰）,所有參數的平方和，對應嶺回歸
在Python中調用
from sklearn.linear_model import LogisticRegression as LR包中
LR(penalty="l1", solver="liblinear",C=0.5,max_iter=1000)
penalty默認情況下是l2,
當選擇L2后模型還是過擬合又或者因為模型的特征過多,想通過轉換成稀疏矩陣的方式可選L1
矩陣的稀疏性:通俗的解釋是,剔除一些不是重要的特征從而減少時間與空間的復雜
講講正則化為什么能降低過擬合程度，並且說明下下L1正則化和L2正則化
降低過擬合程度：
正則化之所以能夠降低過擬合的原因在於，正則化是結構風險最小化的一種策略實現。
給loss function加上正則化項，能使得新得到的優化目標函數h = f+normal，需要在f和normal中做一個權衡（trade-off），如果還像原來只優化f的情況下，那可能得到一組解比較復雜，使得正則項normal比較大，那么h就不是最優的，因此可以看出加正則項能讓解更加簡單，符合奧卡姆剃刀理論，同時也比較符合在偏差和方差（方差表示模型的復雜度）分析中，通過降低模型復雜度，得到更小的泛化誤差，降低過擬合程度。
L1正則化和L2正則化：
L1正則化就是在loss function后邊所加正則項為L1范數，加上L1范數容易得到稀疏解（0比較多）。L2正則化就是loss function后邊所加正則項為L2范數的平方，加上L2正則相比於L1正則來說，得到的解比較平滑（不是稀疏），但是同樣能夠保證解中接近於0（但不是等於0，所以相對平滑）的維度比較多，降低模型的復雜度。