偏差和方差衡量的必要性，因為深度學習中，根據沒免費午餐定理，降低了偏差一定增加了方差，降低了方差也增加了偏差。
高偏差：欠擬合，線性不能充分擬合，非線性才能充分擬合
高方差：過擬合，對部分點描述過度，泛化誤差增大
偏差和方差一定程度對應着訓練誤差和驗證誤差。
基本誤差為0的情況下，
1、訓練誤差降低，即降低偏差
2、1的基礎上，降低方差，即驗證集誤差也降低，降低方差。
正則方法：L1、L2、dropout、提前停止、數據增強。
提前停止一般情況下不會用，因為訓練誤差用L2正則還有降低的可能，同時保證不會過擬合。所以一般都選L2正則。
L2正則也有一定的缺陷，因為有了lambda的超參數，需要選。
為什么要歸一化？
歸一化有兩步，1、零均值 2、除以方差。
作用：使得成本函數變得正規化，不像之前的可能特征1 從1到100000，特征2從0到1，成本函數優化的時間長短隨機性太大，因為初始點定在偏特征1的點上，需要優化很長時間，初始點定在特征2，優化很短時間。
所以歸一化的作用就是減少這種隨機性，讓所有初始點都有相同的優化步數。也可以說是降低了訓練時間。