一，均方誤差
作為機器學習中常常用於損失函數的方法，均方誤差頻繁的出現在機器學習的各種算法中，但是由於是舶來品，又和其他的幾個概念特別像，所以常常在跟他人描述的時候說成其他方法的名字。
均方誤差的數學表達為： 
如上圖所示，通過計算每個預測值和實際值之間的差值的平方和再求平均，機器學習中它經常被用於表示預測值和實際值相差的程度。
二，平方差
平方差的定義很簡單，顧名思義就是兩個數先做平方然后再求差值： 
三，方差以及期望
方差是在概率論和統計方差衡量隨機變量或一組數據時離散程度的度量。概率論中方差用來度量隨機變量和其數學期望（即均值）之間的偏離程度。其數學公式為： 
其中D(X)表示數據集X的方差，
表示集合D的數學期望（即均值）：
四，標准差（均方差）
對方差開平方就是均方差，而均方差又稱標准差，即： 
發現沒有，方差與我們要處理的數據的量綱是不一致的，雖然能很好的描述數據與均值的偏離程度，但是處理結果是不符合我們的直觀思維的。
舉個例子：比如一個班男生的平均身高是170cm,標准差是10cm,那么方差就是100cm^2。可以進行的比較簡便的描述是本班男生身高分布是170±10cm，方差就無法做到這點。
五，協方差
協方差：如果隨機變量X和Y的方差DX>0,DY>0成立，則稱E[(X-EX)(Y-EY)]為隨機變量X與Y的協方差，記為Cov(X,Y)，即：
Cov(X,Y)=E[(X-EX)(Y-EY)]=E(XY)-EX*EY
其中： 
可見協方差的本質上是一個期望。
稱
為隨機變量X,Y的相關系數，若
=0 則稱X與Y是不相關的，若
則表示X,Y有相關性。
COV(X,Y)是描述隨機變量X與Y之間偏差關聯程度的，比如研究父親身高X與孩子身高Y之間的關系。