2018-1-26
雖然我們不斷追求更好的模型泛化力，但是因為未知數據無法預測，所以又期望模型可以充分利用訓練數據，避免欠擬合。這就要求在增加模型復雜度、提高在可觀測數據上的性能表現得同時，又需要兼顧模型的泛化力，防止發生過擬合的情況。為了平衡這兩難的選擇，通常采用兩種模型正則化的方法：L1范數正則化與L2范數正則化。
正則化的目的：提高模型在未知測試數據上的泛化力，避免參數過擬合。
正則化常見方法：在原模型優化目標的基礎上，增加對參數的懲罰項。
- L1范數正則化
這種正則化方法結果會讓參數向量的許多元素趨向於0，使得大部分特征失去對優化目標的貢獻。這種讓有效特征變得稀疏（Sparse）的L1正則化模型，通常被稱為Lasso。
- L2范數正則化
為了使新優化目標最小化，這種正則化方法的結果會讓參數向量中的大部分元素都變得很小，壓制了參數之間的差異性。這種壓制參數之間的差異性的L2正則化模型，通常被稱為Ridge。