正則化（Regularization）
機器學習中幾乎都可以看到損失函數后面會添加一個額外項，常用的額外項一般有兩種，稱作L1正則化 和 L2正則化，或者 L1范數 和 L2范數。
L1正則化和L2正則化可以看做是損失函數的懲罰項。所謂“懲罰”是指對損失函數中的某些參數做一些限制。對於線性回歸模型，使用L1正則化的模型建叫做Lasso回歸，使用L2正則化的模型叫做Ridge回歸（嶺回歸）。
L1正則化和L2正則化的說明如下：
- L1正則化是指權值向量w中各個元素的絕對值之和，通常表示為∣∣w∣∣1
- L2正則化是指權值向量w中各個元素的平方和然后再求平方根（Ridge回歸的L2正則化項有平方符號），通常表示為∣∣w∣∣2
一般都會在正則化項之前添加一個系數，用α表示或用λ表示。這個系數需要用戶指定。
那添加L1和L2正則化有什么用？下面是L1正則化和L2正則化的作用，這些表述可以在很多文章中找到。
- L1正則化可以產生稀疏權值矩陣，即產生一個稀疏模型，可以用於特征選擇
- L2正則化可以防止模型過擬合（overfitting）；一定程度上，L1也可以防止過擬合
稀疏模型與特征選擇的關系
上面提到L1正則化有助於生成一個稀疏權值矩陣，進而可以用於特征選擇。為什么要生成一個稀疏矩陣？
稀疏矩陣指的是很多元素為0，只有少數元素是非零值的矩陣，即得到的線性回歸模型的大部分系數都是0. 通常機器學習中特征數量很多，例如文本處理時，如果將一個詞組（term）作為一個特征，那么特征數量會達到上萬個（bigram）。在預測或分類時，那么多特征顯然難以選擇，但是如果代入這些特征得到的模型是一個稀疏模型，表示只有少數特征對這個模型有貢獻，絕大部分特征是沒有貢獻的，或者貢獻微小（因為它們前面的系數是0或者是很小的值，即使去掉對模型也沒有什么影響），此時我們就可以只關注系數是非零值的特征。這就是稀疏模型與特征選擇的關系。
L1和L2正則化的直觀理解
這部分內容將解釋為什么L1正則化可以產生稀疏模型（L1是怎么讓系數等於零的），以及為什么L2正則化可以防止過擬合。
正則化和特征選擇的關系
假設有如下帶L1正則化的損失函數：
其中J0是原始的損失函數，加號后面的一項是L1正則化項，α是正則化系數。注意到L1正則化是權值的絕對值之和，J是帶有絕對值符號的函數，因此J是不完全可微的。機器學習的任務就是要通過一些方法（比如梯度下降）求出損失函數的最小值。當我們在原始損失函數J0后添加L1正則化項時，相當於對J0做了一個約束。令L=α∑∣w∣，則J=J0+L 。此時我們的任務變成在L約束下求出J0取最小值的解。考慮二維的情況，即只有兩個權值w1和w2，此時L=∣w1∣+∣w2∣。對於梯度下降法，求解J0的過程可以畫出等值線，同時L1正則化的函數L也可以在w1w2的二維平面上畫出來。如下圖：
圖中等值線是J0的等值線，黑色方形是L函數的圖形。L=∣w1∣+∣w2∣，這個函數畫出來就是一個方框（可以自己動手畫一下）。
在圖中，當J0等值線與L圖形首次相交的地方就是最優解。上圖中J0與在L的一個頂點處相交，這個頂點就是最優解。注意到這個頂點的值是(w1,w2)=(0,w)可以直觀想象，因為L函數有很多“突出的角”（二維情況下四個，多維情況下更多），J0與這些角接觸的機率會遠大於與L其它部位接觸的機率（這是很直覺的想象，突出的角比直線的邊離等值線更近些），而在這些角上，會有很多權值等於0（因為角就在坐標軸上），這就是為什么L1正則化可以產生稀疏模型，進而可以用於特征選擇。
而正則化前面的系數α，可以控制L圖形的大小。α越小，L的圖形越大（上圖中的黑色方框）；α越大，L的圖形就越小，可以小到黑色方框只超出原點范圍一點點，這是最優點的值(w1,w2)=(0,w)中的w可以取到很小的值。
類似地，假設有如下帶L2正則化的損失函數：
同樣可以畫出在二維平面上的圖形，如下：
二維平面下L2正則化的函數圖形是個圓（絕對值的平方和，是個圓），與方形相比，被磨去了棱角。因此J0與L相交時使得w1
或w2等於零的機率小了許多（這個也是一個很直觀的想象），這就是為什么L2正則化不具有稀疏性的原因，因為不太可能出現多數w都為0的情況。
為什么梯度下降的等值線與正則化函數第一次交點是最優解？
這是帶約束的最優化問題。這應該是在大一的高等數學就學到知識點，因為這里要用到拉格朗日乘子。如果有這樣的問題，就需要復習一下高等數學了。這里有一個比較詳細的數學講解，可以參考：帶約束的最優化問題。
L2正則化和過擬合的關系
擬合過程中通常都傾向於讓權值盡可能小，最后構造一個所有參數都比較小的模型。因為一般認為參數值小的模型比較簡單，能適應不同的數據集，也在一定程度上避免了過擬合現象。可以設想一下對於一個線性回歸方程，若參數很大，那么只要數據偏移一點點，就會對結果造成很大的影響；但如果參數足夠小，數據偏移得多一點也不會對結果造成什么影響，專業一點的說法是“抗擾動能力強”。
那為什么L2正則化可以獲得值很小的參數？
以線性回歸中的梯度下降法為例，假設要求解的參數為θ，而hθ(x)是我們的假設函數。線性回歸一般使用平方差損失函數。單個樣本的平方差是(hθ(x)−y)2，如果考慮所有樣本，損失函數是對每個樣本的平方差求和，假設有m個樣本，線性回歸的代價函數如下，為了后續處理方便，乘以一個常數1/2m：
在梯度下降算法中，需要先對參數求導，得到梯度。梯度本身是上升最快的方向，為了讓損失盡可能小，沿梯度的負方向更新參數即可。
對於單個樣本，先對某個參數θj求導：
注意到hθ(x)的表達式是 hθ(x)=θ0x0+θ1x1+⋯+θnxn. 單個樣本對某個參數θj求導，∂/∂θj(hθ(x))=xj.
最終上式結果如下：
在考慮所有樣本的情況，將每個樣本對θj的導數求和即可，得到下式：
梯度下降算法中，為了盡快收斂，會沿梯度的負方向更新參數，因此在(3.3)式前添加一個負號，並乘以一個系數α\alphaα（即學習率），得到最終用於迭代計算參數θj的形式：
其中α是學習率（learning rate）。 上式是沒有添加L2正則化項的迭代公式，如果在原始代價函數之后添加L2正則化，則迭代公式會變成下面的樣子：
其中λ就是正則化參數。從上式可以看到，與未添加L2正則化的迭代公式相比，每一次迭代，θj都要先乘以一個小於1的因子（即(1−αλm)，從而使得θj不斷減小，因此總的來看，θ是不斷減小的。
最開始也提到L1正則化一定程度上也可以防止過擬合。之前做了解釋，當L1的正則化系數很小時，得到的最優解會很小，可以達到和L2正則化類似的效果。
正則化參數的選擇
L1正則化參數
通常越大的λ可以讓代價函數在參數為0時取到最小值。因為正則化系數越大，正則化的函數圖形（上文圖中的方形或圓形）會向坐標軸原點收縮得越厲害，這個現象稱為shrinkage，過程可以稱為shrink to zero. 下面是一個簡單的例子，這個例子來自Quora上的問答。為了方便敘述，一些符號跟這篇帖子的符號保持一致。
假設有如下帶L1正則化項的代價函數：
其中x是要估計的參數，相當於上文中提到的w以及θ。 這個例子中的正則化函數L就是L=λ∣x∣。注意到L1正則化在某些位置是不可導的，當λ足夠大時可以使得F(x)在x=0時取到最小值。如下圖：
作為一個直觀的例子，這個圖的示例中，取了f(x) = (x-1)^2作為損失函數，其實可以取更復雜的，但不好畫圖，不過原理是一樣的，因為損失函數都是凸函數，很多性質是一樣的。
正則化分別取λ=0.5和λ=2，可以看到越大的λ越容易使F(x)在x=0時取到最小值。
此外也可以自己計算一下，當損失函數f(x)和正則化函數L=∣x∣在定義域內第一次相交的地方，就是整個代價函數F(x)的最優解。
L2正則化參數
從公式
可以看到，λ越大，θj衰減得越快。另一個理解可以參考 圖 “L2正則化”，λ越大，L2圓的半徑越小，最后求得代價函數最值時各參數也會變得很小，同樣是一個shrink to zero的過程，原理與L1正則化類似。