（1）前言
（2）最小二乘的推導
（3）最小二乘求解線性
（4）曲線擬合的應用
------------------qq：1327706646
-------------------------author：midu
--------------------------------datetime：2014-12-10 17：48：00
（1）前言
關於最小二乘的應用，最早在高斯時代就被天才高斯用來求解，偏離軌道的行星，在別人還在用望遠鏡尋找的時候，高斯又是神奇般的輕而易舉的算出了偏離軌道的行星准確位置。現在學習它，我是想在圖像分類中和數據處理分類中會用到他做擬合、預測。
（2）最小二乘的推導
最小二乘的線性回歸方程系數即極值點坐標可以用兩種方法來求解，結果都是一樣的，在大數據處理中的最小二乘的兩個系數用貝塔0和貝塔一表示，即方程的b和a，加入回歸方程是y=a+bx 在數學推導中。這兩種方法是一種相對復雜的配方法最小值代入求解，另一種是關於系數a、lamb的求導求解。這里不管哪種方法，前提都要有兩個前提條件equation，推導出來。數據挖據中稱之為殘差，數學中為方差，如圖figure1
這是其中的公式一：
Σ（xi-x）^2 = Σxi^2 -nx^2;
還有一個公式二：
Σ（xi-x）（yi-y） = Σxiyi - nxy;
然后帶入得：
上面利用相關系數為0求得的結果。
下面還有求導同樣可以得出推導結果的方法：
普通最小二乘法（ Ordinary Least Square，OLS）：所選擇的回歸模型應該使所有觀察值的殘差平方和達到最小。（Q為殘差平方和）- 即采用平方損失函數。
樣本回歸模型：
其中ei為樣本（Xi, Yi）的誤差
平方損失函數：
則通過Q最小確定這條直線，即確定
，以
為變量，把它們看作是Q的函數，就變成了一個求極值的問題，可以通過求導數得到。求Q對兩個待估參數的偏導數：
根據數學知識我們知道，函數的極值點為偏導為0的點。
解得：
這就是最小二乘法的求導解法，就是求得平方損失函數的極值點。
其實除了上面兩種方法，還有一中方法可以解釋最小二乘，那就是線性代數，如果線數比較差的話，建議推薦看看網易的公開課，里面有個很和藹的麻省理工老師講的一節課叫《矩陣投影和最小二乘》，解析的非常清楚，這里應用馬雲在今年上海浙商商會演講的一句話“中國的教育，只做了教，育丟棄了”，從這位老師的講學可以看得出，細心的人會。
（3）最小二乘求解線性
某產品廣告支出x萬元，與銷售額y萬元之間有如下數據x=2,4,5,6,8y=30,40,60,50,70(1)求回歸直線方程（2）估計廣告費為x萬元時，銷售y收入的值求完整計算謝
(回歸方程的公式)
解：(1)設回歸線性方程為：y=bx+a
x的平均值=（2+4+5+6+8）/5=5
y的平均值=（30+40+60+50+70）/5=50
∑xi^2=2^2+4^2+5^2+6^2+8^2=145
∑xiyi=2*30+4*40+5*60+6*50+8*70=1380
根據公式：b=（1380-5*5*50）/(145-5*5^2)=6.5
a=50-6.5*5=17.5
則回歸線性直線方程為：y=6.5x+17.5
（4）曲線擬合的應用
在線性回歸中的應用：
http://baike.baidu.com/link?url=AHp30Rl0sWJZ9EhgknesZ595G0fLCR-KM20aRBLgf6kaqnF7MiixcRQrf7Uu8aKoRqkj8mE2nyZ9Y0wed_UXza
http://baike.baidu.com/view/139822.htm#ref_[1]_139822
參考文獻：
http://zh.wikipedia.org/zh-cn/最小二乘法 在學術方面wiki做的相當的好，這里從各個方面講到了二乘的來龍去脈，包括線數，至於百度百科，我只能呵呵。
http://www.baike.com/wiki/偏最小二乘法
http://wenku.baidu.com/view/61a4260cba1aa8114431d974.html 回歸直線方程的推導
http://my.oschina.net/zmjerry/blog/10917
http://www.cnblogs.com/iamccme/archive/2013/05/15/3080737.html 最小二乘的c++代碼實現和求導
http://blog.sciencenet.cn/blog-430956-621997.html 最小二乘法，為啥差的不是絕對值
http://wenku.baidu.com/view/81ed83ea998fcc22bcd10dca.html?from=rec&pos=3&weight=2 最小二乘及其殘差圖
http://blog.csdn.net/viewcode/article/details/8794401 各種回歸概念
http://zhidao.baidu.com/link?url=Pl0g2cvqNIuqn-z34JZ7t7Kl9tPMeudfFGy4-GSITWOj8FKhsk3d0M1wFDj_mj6umFcglxGaNlIlL_mPJkF5MK 線性求解
http://blog.csdn.net/wenrenhua08/article/details/2909255 最小三乘法
http://baike.so.com/doc/4551178.html 曲線擬合 matlab 實現 包括多階
web
http://www.oschina.net/news/55994/oschina-paas-platform-with-mopaas