對於最小二乘法，當從模型總體隨機抽取n組樣本觀測值后，最合理的參數估計量應該使得模型能最好地擬合樣本數據，也就是估計值和觀測值之差的平方和最小。而對於最大似然法，當從模型總體隨機抽取n組樣本觀測值后，最合理的參數估計量應該使得從模型中抽取該n組樣本觀測值的概率最大。顯然，這是從不同原理出發的兩種參數估計方法。
在最大似然法中，通過選擇參數，使已知數據在某種意義下最有可能出現，而某種意義通常指似然函數最大，而似然函數又往往指數據的概率分布函數。
與最小二乘法不同的是，最大似然法需要已知這個概率分布函數，這在實踐中是很困難的。一般假設其滿足正態分布函數的特性，在這種情況下，最大似然估計和
最小二乘估計相同。
最小二乘法以估計值與觀測值的差的平方和作為損失函數，極大似然法則是以最大化目標值的似然概率函數為目標函數，從概率統計的角度處理線性回歸並在似然概率函數為高斯函數的假設下同最小二乘建立了的聯系。
最小二乘法？為神馬不是差的絕對值
http://blog.sciencenet.cn/blog-430956-621997.html
二者聯系和區別
http://blog.csdn.net/rosenor1/article/details/52268039