基本思想
求出這樣一些未知參數使得樣本點和擬合線的總誤差（距離）最小
最直觀的感受如下圖（圖引用自知乎某作者）
而這個誤差（距離）可以直接相減，但是直接相減會有正有負，相互抵消了，所以就用差的平方
推導過程
1 寫出擬合方程
\(y = a+bx\)
2 現有樣本\((x_1, y_1),(x_2, y_2)...(x_n, y_n)\)
3 設\(d_i\)為樣本點到擬合線的距離，即誤差
\(d_i=y_i-(a+bx_i)\)
4 設\(D\)為差方和（為什么要取平方前面已說，防止正負相互抵消）
\(D=\sum\limits_{i=1}^{n}d_i^2=\sum\limits_{i=1}^{n}(y_i-a-bx_i)^2\)
5 根據一階導數等於0，二階大於等於0（證明略）求出未知參數
對a求一階偏導
\( \begin{aligned} \frac{\partial D}{\partial a} &=\sum\limits_{i=1}^{n}2(y_i-a-bx_i)(-1)\\ &=-2\sum\limits_{i=1}^{n}(y_i-a-bx_i)\\ \end{aligned} \)
\( \begin{aligned} &=-2(\sum\limits_{i=1}^{n}y_i-\sum\limits_{i=1}^{n}a-b\sum\limits_{i=1}^{n}x_i)\\ &=-2(n\bar{y}-na-nb\bar{x}) \end{aligned} \)
對b求一階偏導
\( \begin{aligned} \frac{\partial D}{\partial b} &=\sum\limits_{i=1}^{n}2(y_i-a-bx_i)(-x_i)\\ &=-2\sum\limits_{i=1}^{n}(x_iy_i-ax_i-bx_i^2)\\ \end{aligned} \)
\( \begin{aligned} &=-2(\sum\limits_{i=1}^{n}x_iy_i-a\sum\limits_{i=1}^{n}x_i-b\sum\limits_{i=1}^{n}x_i^2)\\ &=-2(\sum\limits_{i=1}^{n}x_iy_i-na\bar{x}-b\sum\limits_{i=1}^{n}x_i^2) \end{aligned} \)
令偏導等於0得
\(-2(n\bar{y}-na-nb\bar{x})=0\)
\(=> \color{red}{a=\bar{y}-b\bar{x}}\)
\(-2(\sum\limits_{i=1}^{n}x_iy_i-na\bar{x}-b\sum\limits_{i=1}^{n}x_i^2)=0\)並將\(a=\bar{y}-b\bar{x}\)帶入化簡得
\(=>\sum\limits_{i=1}^{n}x_iy_i-n\bar{x}\bar{y}+nb\bar{x}^2-b\sum\limits_{i=1}^{n}x_i^2=0\)
\(=>\sum\limits_{i=1}^{n}x_iy_i-n\bar{x}\bar{y}=b(\sum\limits_{i=1}^{n}x_i^2-n\bar{x}^2)\)
\(=>b=\frac{\sum\limits_{i=1}^{n}x_iy_i-n\bar{x}\bar{y}}{\sum\limits_{i=1}^{n}x_i^2-n\bar{x}^2}\)
因為\(\require{cancel}\sum\limits_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})=\sum\limits_{i-1}^{n}(x_iy_i-\bar{x}y_i-x_i\bar{y}+\bar{x}\bar{y})=\sum\limits_{i=1}^{n}x_iy_i-n\bar{x}\bar{y}-\cancel{n\bar{x}\bar{y}}+\cancel{n\bar{x}\bar{y}}\)
\(\sum\limits_{i=1}^{n}(x_i-\bar{x})^2=\sum\limits_{i-1}^{n}(x_i^2-2\bar{x}x_i+\bar{x}^2)=\sum\limits_{i=1}^{n}x_i^2-2n\bar{x}^2+n\bar{x}^2=\sum\limits_{i=1}^{n}x_i^2-n\bar{x}^2\)
所以將其帶入上式得\(\color{red}{b=\frac{\sum\limits_{i=1}^{n}(x_i-\bar{x})(y_i-\bar{y})}{\sum\limits_{i=1}^{n}(x_i-\bar{x})^2}}\)