均方誤差（Mean Squared Error, MSE）是衡量“平均誤差”的一種較方便的方法。可以評價數據的變化程度。均方根誤差是均方誤差的算術平方根。
最小二乘（LS）問題是這樣一類優化問題，目標函數是若干項的平方和，每一項具有形式
，具體形式如下：
minimize 
（式1）
但是，我們在實際優化問題中經常看到的是另一種表示形式：
（式2）
其中
是真值，
是估計值，式1和式2是一樣的，只是用的符號不同，式1中的
對應式2中的
，即優化中要求的變量。
------------------------------------------------------------------------
作為過渡概念，LS的一種更復雜也更靈活的變形：
加權最小二乘 根據實際問題考慮每個求和項的重要程度，即加權值w，如下：
------------------------------------------------------------------------
均方誤差（MSE）是一種加權最小二乘，它的權值是概率
最小二乘法（LS）：觀測值與實際數據誤差平方和最小，min(y-f(x))。
最小均方誤差（MMSE）：誤差平方和取均值再開方，在含噪數據中使預測模型有好的精度（概率最大模型），達到f(x)=y。
鏈接：https://www.zhihu.com/question/27200164/answer/88360164
來源：知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權，非商業轉載請注明出處。