之所以說”使用”而不是”實現”，是因為python的相關類庫已經幫我們實現了具體算法，而我們只要學會使用就可以了。隨着對技術的逐漸掌握及積累，當類庫中的算法已經無法滿足自身需求的時候，我們也可以嘗試通過自己的方式實現各種算法。
言歸正傳，什么是”最小二乘法”呢？
定義：最小二乘法（又稱最小平方法）是一種數學優化技術，它通過最小化誤差的平方和尋找數據的最佳函數匹配。
作用：利用最小二乘法可以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。
原則：以”殘差平方和最小”確定直線位置(在數理統計中，殘差是指實際觀察值與估計值之間的差)
數學公式：
基本思路：對於一元線性回歸模型, 假設從總體中獲取了n組觀察值（X1，Y1），（X2，Y2）， …，（Xn，Yn），對於平面中的這n個點，可以使用無數條曲線來擬合。而線性回歸就是要求樣本回歸函數盡可能好地擬合這組值，也就是說，這條直線應該盡可能的處於樣本數據的中心位置。因此，選擇最佳擬合曲線的標准可以確定為：使總的擬合誤差（即總殘差）達到最小。
實現代碼如下，代碼中已經詳細的給了注釋：
##最小二乘法 import numpy as np ##科學計算庫 import scipy as sp ##在numpy基礎上實現的部分算法庫 import matplotlib.pyplot as plt ##繪圖庫 from scipy.optimize import leastsq ##引入最小二乘法算法 ''' 設置樣本數據，真實數據需要在這里處理 ''' ##樣本數據(Xi,Yi)，需要轉換成數組(列表)形式 Xi=np.array([6.19,2.51,7.29,7.01,5.7,2.66,3.98,2.5,9.1,4.2]) Yi=np.array([5.25,2.83,6.41,6.71,5.1,4.23,5.05,1.98,10.5,6.3]) ''' 設定擬合函數和偏差函數 函數的形狀確定過程： 1.先畫樣本圖像 2.根據樣本圖像大致形狀確定函數形式(直線、拋物線、正弦余弦等) ''' ##需要擬合的函數func :指定函數的形狀 def func(p,x): k,b=p return k*x+b ##偏差函數：x,y都是列表:這里的x,y更上面的Xi,Yi中是一一對應的 def error(p,x,y): return func(p,x)-y ''' 主要部分：附帶部分說明 1.leastsq函數的返回值tuple，第一個元素是求解結果，第二個是求解的代價值(個人理解) 2.官網的原話（第二個值）：Value of the cost function at the solution 3.實例：Para=>(array([ 0.61349535, 1.79409255]), 3) 4.返回值元組中第一個值的數量跟需要求解的參數的數量一致 ''' #k,b的初始值，可以任意設定,經過幾次試驗，發現p0的值會影響cost的值：Para[1] p0=[1,20] #把error函數中除了p0以外的參數打包到args中(使用要求) Para=leastsq(error,p0,args=(Xi,Yi)) #讀取結果 k,b=Para[0] print("k=",k,"b=",b) print("cost："+str(Para[1])) print("求解的擬合直線為:") print("y="+str(round(k,2))+"x+"+str(round(b,2))) ''' 繪圖，看擬合效果. matplotlib默認不支持中文，label設置中文的話需要另行設置 如果報錯，改成英文就可以 ''' #畫樣本點 plt.figure(figsize=(8,6)) ##指定圖像比例： 8：6 plt.scatter(Xi,Yi,color="green",label="樣本數據",linewidth=2) #畫擬合直線 x=np.linspace(0,12,100) ##在0-15直接畫100個連續點 y=k*x+b ##函數式 plt.plot(x,y,color="red",label="擬合直線",linewidth=2) plt.legend(loc='lower right') #繪制圖例 plt.show()
結果如下所示：
輸出結果：
k= 0.900458420439 b= 0.831055638877
cost：1
求解的擬合直線為:
y=0.9x+0.83
繪圖結果：
補充說明：簡單的列舉了直線的情況，曲線的求解方式類似(在另一篇博文中舉例了拋物線)，但是曲線會存在過度擬合的情況，在以后的博客中會講到。