最小二乘法
基本思想
簡單地說，最小二乘的思想就是要使得觀測點和估計點的距離的平方和達到最小.這里的“二乘”指的是用平方來度量觀測點與估計點的遠近（在古漢語中“平方”稱為“二乘”），“最小”指的是參數的估計值要保證各個觀測點與估計點的距離的平方和達到最小
θ表示要求的參數，Yi為觀測值(向量)，f（xi|θ)為理論值。
最小二乘的作用
用於得到回歸方程的參數的一個最優估值。在統計學上，該估值可以很好的擬合訓練樣本。並且對於新的輸入樣本，當有了參數估值后，帶入公式可以得到輸入樣本的輸出。
如何求解最小二乘
多元函數求極值的方法，對θ求偏導，讓偏導等於0，求出θ值。當θ為向量時，需要對各個θi求偏導計算。
極大似然估計
基本思想
當從模型總體隨機抽取n組樣本觀測值后，最合理的參數估計量應該使得從模型中抽取該n組樣本觀測值的概率最大，而不是像最小二乘估計法旨在得到使得模型能最好地擬合樣本數據的參數估計量。
似然函數
對數似然函數
當樣本為獨立同分布時，似然函數可簡寫為L(α)=Πp(xi;α)，牽涉到乘法不好往下處理，於是對其取對數研究，得到對數似然函數l(α)=ln L(α)=Σln p(xi;α)
求解極大似然
同樣使用多元函數求極值的方法。
轉 http://www.fuzihao.org/blog/2014/06/13/%E4%B8%BA%E4%BB%80%E4%B9%88%E6%9C%80%E5%B0%8F%E4%BA%8C%E4%B9%98%E6%B3%95%E5%AF%B9%E8%AF%AF%E5%B7%AE%E7%9A%84%E4%BC%B0%E8%AE%A1%E8%A6%81%E7%94%A8%E5%B9%B3%E6%96%B9/
為什么最小二乘法對誤差的估計要用平方？
