參考：
http://www.cnblogs.com/maybe2030/p/9231231.html
https://blog.csdn.net/wsj998689aa/article/details/39547771
https://charlesliuyx.github.io/2017/10/03/%E3%80%90%E7%9B%B4%E8%A7%82%E8%AF%A6%E8%A7%A3%E3%80%91%E4%BB%80%E4%B9%88%E6%98%AF%E6%AD%A3%E5%88%99%E5%8C%96/
1、正則化是什么
正則化看起來有些抽象，其直譯"規則化"，本質其實很簡單，就是給模型加一些規則限制，約束要優化參數，目的是防止過擬合。其中最常見的規則限制就是添加先驗約束，其中L1相當於添加Laplace先驗，L相當於添加Gaussian先驗。
2、L1正則和L2正則
L1正則是在原始的loss函數上加上一個L1正則化項，這個L1正則項實際就是在loss函數上添加一個結構化風險項，因此正則化其實和“帶約束的目標函數”是等價的。而L1正則項就是一個1范數，本質相當於添加一個Laplace先驗知識。同理，L2正則化項是一個2范數，本質卻相當於添加一個Gaussian先驗知識。
參考http://www.cnblogs.com/heguanyou/p/7582578.html。
3、范數
參考：https://charlesliuyx.github.io/2017/10/03/%E3%80%90%E7%9B%B4%E8%A7%82%E8%AF%A6%E8%A7%A3%E3%80%91%E4%BB%80%E4%B9%88%E6%98%AF%E6%AD%A3%E5%88%99%E5%8C%96/
我們知道，范數（norm）的概念來源於泛函分析與測度理論，wiki中的定義相當簡單明了：范數是具有“長度”概念的函數，用於衡量一個矢量的大小（測量矢量的測度）
我們常說測度測度，測量長度，也就是為了表征這個長度。而如何表達“長度”這個概念也是不同的，也就對應了不同的范數，本質上說，還是觀察問題的方式和角度不同，比如那個經典問題，為什么矩形的面積是長乘以寬？這背后的關鍵是歐式空間的平移不變性，換句話說，就是面積和長成正比，所以才有這個
沒有測度論就沒有（現代）概率論。而概率論也是整個機器學習學科的基石之一。測度就像尺子，由於測量對象不同，我們需要直尺量布匹、皮尺量身披、卷尺量房間、游標卡尺量工件等等。注意，“尺子”與刻度（寸、米等）是兩回事，不能混淆。
范數分為向量范數（二維坐標系）和矩陣范數（多維空間，一般化表達），如果不希望太數學化的解釋，那么可以直觀的理解為：0-范數：向量中非零元素的數量；1-范數：向量的元素的絕對值；2-范數：是通常意義上的模（距離）
范數的圖形表示如下：
4、正則化為什么就能防止過擬合
參考：http://www.cnblogs.com/heguanyou/p/7582578.html
過擬合的時候，擬合函數的系數往往非常大，為什么？如下圖所示，過擬合，就是擬合函數需要顧忌每一個點，最終形成的擬合函數波動很大。在某些很小的區間里，函數值的變化很劇烈。這就意味着函數在某些小區間里的導數值（絕對值）非常大，由於自變量值可大可小，所以只有系數足夠大，才能保證導數值很大。
從幾何解釋：
圖1 上面中的藍色輪廓線是沒有正則化損失函數的等高線，中心的藍色點為最優解，左圖、右圖分別為L2、L1正則化給出的限制。
可以看到在正則化的限制之下，L2正則化給出的最優解 $w^{*} $是使解更加靠近原點，也就是說L2正則化能降低參數范數的總和，使得模型的解偏向於 norm 較小的 W，通過限制 W 的 norm 的大小實現了對模型空間的限制，從而在一定程度上避免了 overfitting 。不過 L2正則化並不具有產生稀疏解的能力，得到的系數 仍然需要數據中的所有特征才能計算預測結果，從計算量上來說並沒有得到改觀。
L1正則化給出的最優解$w^{*}$是使解更加靠近某些軸，而其它的軸則為0，所以L1正則化能使得到的參數稀疏化。稀疏的解除了計算量上的好處之外，更重要的是更具有“可解釋性”。比如說，一個病如果依賴於 5 個變量的話，將會更易於醫生理解、描述和總結規律，但是如果依賴於 5000 個變量的話，基本上就超出人肉可處理的范圍了。
因此正則化是通過約束參數的范數使其不要太大，使其在一定程度上減少過擬合情況。
5、Dropout與Batch Normalization
http://www.cnblogs.com/maybe2030/p/9231231.html