定義： 最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可 以簡便地求得未知的數據，並使得這些求得的數據與實際數據之間誤差的平方和為最小。最小二乘法還可用於曲線擬合。其他一些優化問題也可通過最小化能量或最大化熵用最小二乘法來表達。
最小二乘法原理：在我們研究兩個變量（x,y）之間的相互關系時，通常可以得到一系列成對的數據（x1,y1.x2,y2... xm,ym）；將這些數據描繪在x -y直角坐標系中，若發現這些點在一條直線附近，可以令這條直線方程如（式1-1）。Yj= a0 + a1 X （式1-1)，其中：a0、a1 是任意實數。
matlab中用最小二乘擬合的常用函數有polyfit（多項式擬合）、nlinfit（非線性擬合）以及regress（多元線性回歸）。自變量有2個或以上時，應變量一個，可以使用的有nlinfit和regress，線性時用regress，非線性時用nlinfit。對於進階matlab使用者還有更多的選擇，如擬合工具箱、fit函數、interp系列插值擬合等等。
MATLAB中關於最小二乘法的函數主要有：
help polyfit -- POLYFIT Fit polynomial to data.
help lsqcurvefit -- LSQCURVEFIT solves non-linear least squares problems.
help lsqnonlin -- LSQNONLIN solves non-linear least squares problems.
help nlinfit -- NLINFIT Nonlinear least-squares regression.
help regress -- REGRESS Multiple linear regression using least squares.
help meshgrid -- MESHGRID X and Y arrays for 3-D plots.
本文主要講解的函數：polyfit，lsqcurvefit，lsqnonlin，regress
1.多項式曲線擬合:polyfit
1.1 常見擬合曲線
直線： y=a0X+a1
多項式：
，一般次數不易過高2，3
雙曲線： y=a0/x+a1
指數曲線： y=a*e^b
1.2 matlab中函數
P=polyfit(x,y,n)
[P S mu]=polyfit(x,y,n)
polyval（P，t）：返回n次多項式在t處的值
注：其中x y已知數據點向量分別表示橫縱坐標，n為擬合多項式的次數，結果返回：P-返回n次擬合多項式系數從高到低依次存放於向量P中，S-包含三個值其中normr是殘差平方和，mu-包含兩個值 mean（x）均值，std（x）標准差。
1.3 舉例
1.已知觀測數據為：
X：0 1 2 3 4 5 6 7 8 9 1
Y：-0.447 1.987 3.28 6.16 7.08 7.34 7.66 9.56 9.48 9.3 11.2
用三次多項式曲線擬合這些數據點：
x=0:0.1:1
y=[- 0.447,1.978,3.28,6.16,7.08,7.34,7.66,9.56,9.48,9.3,11. 2]
plot(x,y,'k.','markersize',25)
hold on
axis([0 1.3 -2 16])
P3=polyfit(x,y,3)
t=0:0.1:1.2;
S3=polyval(P3,t);
plot(t,S3,'r');
2.擬合為指數曲線
注：在對已測數據不太明確滿足什么關系時，需要假設為多種曲線擬合然后比較各自的residal（均方誤差）越小者為優，多項式擬合不是擬合次數越高越好，而是殘差越小越好。
2.非線性曲線擬合：lsqcurvefit
X=lsqcurvefit(fun,X0,xdata,ydata)
[X,resnorm]=lsqcurvefit(fun,X0,xdata,ydata)
注：其中xdata ydata為給定數據橫縱坐標，按照函數文件fun給定的函數以X0為初值做最小乘二擬合，返回函數fun中的系數向量X和殘差的平方和resnorm。
2.1 例如
已知觀測數據：
求三個參數a b c的值是的曲線f(x)=a*e^x+b*X^2+c*X^3
已知數據點在最小二乘意義上充分接近
首先編寫擬合函數文件
fun function f=fun(X,xdata)
f=X(1)*exp(xdata)+X(2)*xdata.^2+X(3)*xdata.^3
保存文件fun.m
編寫函數調用擬合函數文件
xdata=0:0.1:1;
ydata=[3.1 3.27 3.81 4.5 5.18 6 ....13.17];
X0=[0 0 0];
[X,resnorm]=lsqcurvefit(@fun,X0,xdata,ydata)
運行顯示：
X=
3.0022 4.0304 0.9404
resnorm=
0.0912
綜上：最小乘二意義上的最佳擬合函數為
f(x)=3.0022x+4.0304x^2+0.9404x^3
殘差平方和：0.0912
注：在針對只有一些已測數據而不太清楚最小乘二擬合函數時，采取先打印出已知數據的散點圖，然后觀察散點圖大概分布趨向，再確定擬合函數，也可以確定多個，最后比較殘差選擇最優最小乘二擬合函數，再者初始值的給定也很重要。
lsqnonlin（fun，X0）：最小二乘擬合函數
3.多元線性回歸：regress
regress雖然名義上只能做線性回歸但是可以把x^2等非線性量作為一個額外自變量做計算，因此在一些特殊情況下也可以做非線性擬合。
以matlab自帶的數據為樣本，示例代碼如下：（%后面的是注釋）
clc;clear;
load carsmall%此數據樣本matlab自帶
x=Weight;y=Horsepower;z=MPG;%取這3個變量作為擬合對象，x、y自變量，z應變量
plot3(x,y,z,'p');
hold on;
c=ones(length(x),1);
b=regress(z,[x,y,c]);%純線性擬合 模型z=b(1)*x+b(2)*y+b(3)
[X,Y]=meshgrid(linspace(1500,5000,10),linspace(40,240,10));
C=ones(10);
mesh(X,Y,b(1)*X+b(2)*Y+b(3)*C);
grid on;
b=regress(z,[x.^2,y.^2,x.*y,x,y,c]);%添加非線性項進行擬合
figure,plot3(x,y,z,'p');
hold on;
mesh(X,Y,b(1)*X.^2+b(2)*Y.^2+b(3)*X.*Y+b(4)*X+b(5)*Y+b(6)*C);
grid on;
本講完，謝謝！