本文轉自：mse、rmse、mae、r2指標的總結以及局限性
衡量線性回歸法的指標：MSE, RMSE和MAE
舉個栗子：
對於簡單線性回歸，目標是找到a,b 使得
盡可能小
其實相當於是對訓練數據集而言的，即
當我們找到a，b后，對於測試數據集而言
，理所當然，其衡量標准可以是
但問題是，這個衡量標准和m相關。
（當10000個樣本誤差累積是100，而1000個樣本誤差累積卻達到了80，雖然80<100，但我們卻不能說第二個模型優於第一個）
改進==> 對式子除以m，使得其與測試樣本m無關
->
但又有一個問題，之前算這個公式時為了保證其每項為正，且可導（所以沒用絕對值的表示方法），我們對式子加了一個平方。但這可能會導致量綱的問題，如房子價格為萬元，平方后就成了萬元的平方。
又改進==> 對MSE開方，使量綱相同
->
MSE與RMSE的區別僅在於對量綱是否敏感
又一思路，通過加絕對值
->
在推導a,b的式子時（對train數據集），沒用求絕對值的方法是因為其不是處處可導，不方便用來求極值。但評價模型時，對test數據集我們完全可以使用求絕對值的方式。
P.S. 評價模型的標准和訓練模型時最優化的目標函數是可以完全不一樣的。
RMSE vs MAE
RMSE 與 MAE 的量綱相同，但求出結果后我們會發現RMSE比MAE的要大一些。
這是因為RMSE是先對誤差進行平方的累加后再開方，它其實是放大了較大誤差之間的差距。
而MAE反應的就是真實誤差。因此在衡量中使RMSE的值越小其意義越大，因為它的值能反映其最大誤差也是比較小的。
衡量線性回歸法最好的指標 R Squared
對於上述的衡量方法，都存在的問題在於，沒有一個上下限，比如我們使用auc，其上限為1，則越接近1代表模型越好，0.5附近代表模型和隨機猜測基本差不多性能很差，實際上回歸中也是存在這樣一中指標的。
解決方法==> 新的指標：R方
（上：y預測-y真，our model，下：y真平均-y真，baseline model）
使用baseline模型肯定會產生很多錯誤，我們自己的模型產生的錯誤會少一些。
1 - ourModelError / baselineModelError = 我們模型擬合住的部分
R方將回歸結果歸約到了0~1間，允許我們對不同問題的預測結果進行比對了。
我們可發現，上面其實就是MSE，下面就是方差
