第一張圖是當模型為一元一次函數時的情況，以及其loss函數（二元二次函數）的圖像是如何由函數的子項形成的，以及二元二次函數梯度的不同對學習率的影響。一般來說采用全量梯度下降時函數圖像最陡，批量梯度下降次之，隨機梯度下降或者說逐樣本梯度下降最緩。
第二張圖是采用逐樣本梯度下降的情況。
第三張圖是模型為二元一次函數時的情況，這時其loss函數為三元二次函數。
第四張圖是模型為n元一次函數時的情況，這時其loss函數為（n+1）元二次函數。
第五張圖是模型為n元n次函數時的情況，這時其loss函數為（n+1）元2n次函數。 
第六張圖為解決多元多次模型過擬合的一些常用方法。
本文給出了采用最小二乘法擬合多元多次函數來構造損失函數的過程，可用於解決數值預測問題。關鍵在對樣本的不同特征給定適當次數，一般可選一次至三次的組合（包括非整數次或負數次方），次數過小則模型欠擬合，次數過大則模型過擬合。對於重要的特征，如果自變量的絕對值（不處理或處理后）基本都是大於1的，則可選稍高的次數，這樣自變量的變動對因變量的影響就越大，符合重要特征的特點；如果自變量的絕對值（不處理或處理后）基本都是小於1的，則可選負數次方，這樣自變量的變動對因變量的影響也大，也符合重要特征的特點。
本文為作者原創，供大家交流探討，如需轉載或引用，請注明出處，謝謝！