本章講述了機器學習中如何解決過擬合問題——正則化。講述了正則化的作用以及在線性回歸和邏輯回歸是怎么參與到梯度優化中的。
更多內容參考 機器學習&深度學習
在訓練過程中，在訓練集中有時效果比較差，我們叫做欠擬合；有時候效果過於完美，在測試集上效果很差，我們叫做過擬合。因為欠擬合和過擬合都不能良好的反應一個模型應用新樣本的能力，因此需要找到辦法解決這個問題。
想要解決這個問題，有兩個辦法：
1 減少特征的數量，可以通過一些特征選擇的方法進行篩選。
2 正則化，通過引入一個正則項，限制參數的大小。
比如下面的曲線，針對高次項的參數，在后面多加一項乘以1000。這樣在優化損失函數的時候，會強制θ3和θ4不會很大，並且趨近於0，只有這樣才會保證損失函數的值足夠小。
得到的公式如下，注意只會針對x1開始，θ0相當於只是針對偏置項設置的，因此不需要加正則項。
但是如果λ設置的過大，相當於所有的θ都變成了0，損失函數的曲線相當於一條直線，就沒有任何意義了，因此選擇適合的λ很重要，后面也會講解如何選擇正確的λ。
添加正則項之后，梯度下降的公式就發生了變化：
