bias–variance tradeoff
通過機器學習，我們可以從歷史數據學到一個\(f\)，使得對新的數據\(x\)，可以利用學到的\(f\)得到輸出值\(f(x)\)。設我們不知道的真實的\(f\)為\(\overline{f}\)，我們從數據中學到的\(f\)為\(f^{*}\)，實際上\(f^{*}\)是\(\overline{f}\)的一個估計。在統計中，變量\(x\)的均值\(mean\)表示為\(\mu\)，方差\(variance\)表示為\(\sigma\)，假設我們抽取出\(x\)的\(N\)個樣本，可以用\(m=\frac{1}{N}\sum_{i=1}^{N}x_{i}\)來估計\(\mu\)，但實際上\(m \neq \mu\)，如果我們抽取很多次得到不同的m，那么期望\(E(m)=E(\frac{1}{N}\sum_{i=1}^{N}x_{i})=\frac{1}{N}\sum_{i=1}^{N}E(x_{i})=E(x)=\mu\)。\(var(m)=\frac{\sigma^2}{N}\)，即抽取的樣本\(N\)大，\(m\)的\(variance\)越小。\(s^2=\frac{1}{N}\sum_{i=1}^{N}(x_{i}-m)^2\)，\(E(s^2)=\frac{N-1}{N}\sigma^2\neq\sigma^2\)，因此\(s^2\)是有偏估計量。
實際上，如果用平方誤差表示，誤差分為3個部分（來自wikipedia）:
偏差度量了學習算法的期望預測與真實結果的偏離程度，即刻畫了學習算法本身的擬合能力；
方差度量了同樣大小的訓練集的變動所導致的學習性能的變化，即刻畫了數據擾動所造成的影響；
噪聲則表達了在當前任務上任何學習算法所能達到的期望泛化誤差的下界，即刻畫了學習問題本身的難度。
通常，簡單的模型variance小（不同數據上的結果差異較小），bias大，容易表現為欠擬合，需要增加模型復雜度，加入新的特征；復雜的模型variance大（表達能力強，對不同數據較敏感，結果差異較大），bias小（平均來說與真實結果較為接近），容易表現為過擬合，需要增加更多數據（非常有效，但不太現實）或者用正則化來控制模型的復雜程度。
常見錯誤：
在機器學習任務中，如果使用測試集正確率為依據來調整模型，容易出現過擬合的現象，使得泛化誤差很大。通常做法是交叉驗證（Cross Validation），根據划分驗證集上的平均結果來調整模型，不要過分關心測試集上的結果，如果驗證集上的誤差小，那么測試集上的期望誤差也會小。