Leastsq 最小二乘法擬合一次函數簡單入門例子

###最小二乘法試驗###
#error是自定義計算誤差的函數，k,b也就是p0是計算初始化值，args是error其余的參數，該函數返回2個值，第一個是k,b的值
import numpy as np
from scipy.optimize import leastsq

###采樣點(Xi,Yi)###
Xi=np.array([8.19,2.72,6.39,8.71,4.7,2.66,3.78])
Yi=np.array([7.01,2.78,6.47,6.71,4.1,4.23,4.05])

###需要擬合的函數func及誤差error###
def func(p,x):
    k,b=p
    return k*x+b

def error(p,x,y,s):
    print (s)
    return func(p,x)-y #x、y都是列表，故返回值也是個列表

#TEST
p0=[100,2]
#print( error(p0,Xi,Yi) )

###主函數從此開始###
s="Test the number of iteration" #試驗最小二乘法函數leastsq得調用幾次error函數才能找到使得均方誤差之和最小的k、b
Para=leastsq(error,p0,args=(Xi,Yi,s)) #把error函數中除了p以外的參數打包到args中
k,b=Para[0]
print("k=",k,'\n',"b=",b)

###繪圖，看擬合效果###
import matplotlib.pyplot as plt

plt.figure(figsize=(8,6))
plt.scatter(Xi,Yi,color="red",label="Sample Point",linewidth=3) #畫樣本點
x=np.linspace(0,10,1000)
y=k*x+b
plt.plot(x,y,color="orange",label="Fitting Line",linewidth=2) #畫擬合直線
plt.legend()
plt.show()

 主函數可優化為下：

###需要擬合的函數func及誤差error###
def error(theta,x,y,s):
    k，b = theta
    y_hat = (k*x+b)
    print (s)
    return y-y_hat #x、y都是列表，故返回值也是個列表

###主函數從此開始###
p0 = [20, 2]
s="Test the number of iteration" #試驗最小二乘法函數leastsq得調用幾次error函數才能找到使得均方誤差之和最小的k、b
Para=leastsq(error, p0, args=(Xi,Yi,s)) #把error函數中除了p以外的參數打包到args中
k,b=Para[0]
print("k=",k,'\n',"b=",b)

 

1、p0里放的是k、b的初始值，這個值可以隨意指定。往后隨着迭代次數增加，k、b將會不斷變化，使得error函數的值越來越小。

2、func函數里指出了待擬合函數的函數形狀。

3、error函數為誤差函數，我們的目標就是不斷調整k和b使得error不斷減小。這里的error函數和神經網絡中常說的cost函數實際上是一回事，只不過這里更簡單些而已。

4、必須注意一點，傳入leastsq函數的參數可以有多個，但必須把參數的初始值p0和其它參數分開放。其它參數應打包到args中。

5、leastsq的返回值是一個tuple，它里面有兩個元素，第一個元素是k、b的求解結果，第二個元素我暫時也不知道是什么意思。

6、二次函數時就更換下目標函數，多添加一個變量，其它不變。