最小二乘法 與 均方誤差的區別（總結）

一、總結

一句話總結：

基於均方誤差最小化來進行模型求解的方法稱為“最小二乘法”。——周志華《機器學習》

最小二乘法作為損失函數：沒有除以總樣本數m；均方誤差(MSE)：除以總樣本數m

 

 

二、最小二乘法 與 均方誤差的區別

博客對應課程的視頻位置：

 

答案一：

最小二乘（LS）問題是這樣一類優化問題，目標函數是若干項的平方和，每一項具有形式，具體形式如下：
minimize （式1）
但是，我們在實際優化問題中經常看到的是另一種表示形式：
（式2）
其中是真值，是估計值，式1和式2是一樣的，只是用的符號不同，式1中的對應式2中的，即優化中要求的變量。

------------------------------------------------------------------------
作為過渡概念，LS的一種更復雜也更靈活的變形：
加權最小二乘 根據實際問題考慮每個求和項的重要程度，即加權值w，如下：

------------------------------------------------------------------------
均方誤差（MSE）是一種加權最小二乘，它的權值是概率

===========================================================

答案二：

基於均方誤差最小化來進行模型求解的方法稱為“最小二乘法”。——周志華《機器學習》

 

===========================================================

最小二乘法作為損失函數：沒有除以總樣本數m

均方誤差(MSE)：除以總樣本數m

 

 

 

參考：

https://www.zhihu.com/question/27200164

https://www.icode9.com/content-4-638216.html