最小二乘法
最小二乘法可以更廣泛地應用於非線性方程中,我們可以使用一些已知的離散的點,擬合出一條與這些離散點最為接近的曲線,從而可以分析出這些離散點的走向趨勢。
設x和y之間的函數關系由直線方程:
y=ax+b
公式中有兩個待定參數,b代表截距,a代表斜率。問題在於,如何找到“最合適”的a和b使得盡可能多的數據落在或者更加靠近這條擬合出來的直線上;
我們關心的是方程中的a和b,也就是說,在這個待定的方程中,a和b才是所求的變量,它們可以描述出x和y的關系。 所以我們接下來的任務就是找到一組最好的a和b。
我們對a和b的要求就是,使得所有x和y相對擬合直線的誤差總和最小。也就是說,我們要考慮的是,要使這些數據點距離擬合直線的和最小,距離最短,這樣就可以使得盡可能多的數據成為有效點。
最小二乘法的推導過程
一.是我們要將誤差最小化
二.是我們將誤差最小化的方法是使誤差的平方和最小化。(用誤差平方和最小化來約束誤差的原因是要規避負數對計算的影響)