機器學習：R語言中如何使用最小二乘法

細內容見上一篇文章：http://www.cnblogs.com/lc1217/p/6514734.html

        這里只是介紹下R語言中如何使用最小二乘法解決一次函數的線性回歸問題。

        代碼如下：(數據同上一篇博客)(是不是很簡單????)

> x<-c(6.19,2.51,7.29,7.01,5.7,2.66,3.98,2.5,9.1,4.2)
> y<-c(5.25,2.83,6.41,6.71,5.1,4.23,5.05,1.98,10.5,6.3)
> lsfit(x,y)

       結果如下：

$coefficients
Intercept         X 
0.8310557 0.9004584 

   說明： Intercept ：截距

            X： 變量x的系數

   即對於一元一次函數截距式方程：y=0.9x+0.83

   結果同上一篇博客的計算結果(python)： 

輸出結果：
      k= 0.900458420439 b= 0.831055638877
      cost：1
      求解的擬合直線為:
      y=0.9x+0.83

     如果你不追求繪圖的美觀，可以簡單的直接用R繪制散點圖觀察規律也是可以的（當然也是可以通過設置參數調美觀點的）。

> plot(x,y)  ###x,y是上面已經賦值過的數據

    結果如圖：

    

 

     下面我們接着調整目標函數及樣本數據：

     目標函數：y=ax²+bx+c

     

> x<-c(1,2,3,4,5,6)
> y<-c(9,18,31,48,69,94)
> lsfit(x,y)
$coefficients
Intercept         X 
-14.66667  17.00000 

   從結果可以看出，求解的依然是y=kx+b形式的函數。

   而調整python中的代碼(完整代碼見下面的連接)：

def func(p,x):
    a,b,c=p
    return a*x*x+b*x+c

p0=[10,10,10]

#讀取結果
a,b,c=Para[0]
print("a=",a,"b=",b,"c=",c)
print("cost："+str(Para[1]))
print("求解的擬合直線為:")
print("y="+str(round(a,2))+"x*x+"+str(round(b,2))+"x+"+str(c))

   

a= 2.0 b= 3.0 c= 4.0
cost：2
求解的擬合直線為:
y=2.0x*x+3.0x+4.0

   通過對比看出，python  scipy庫中的leastsq函數通用性還是比較高的。

   目標函數：y=ax²+bx+c的非線性回歸的擬合過程，見：機器學習:形如拋物線的散點圖在python和R中的非線性回歸擬合方法