“偏差-方差分解”（bias-variance decomposition） 是解釋學習算法泛化性能的一種重要工具。
偏差-方差分解試圖對學習算法的期望泛化錯誤率進行拆解。我們知道，算法在不同訓練集上學得的結果很可能不同，即便這些訓練集是來自同一個分布。對測試樣本x，令yD為x在數據集中的標記，y為x的真實標記，f(x;D)為訓練集D上學得模型f在x上的預測輸出。以回歸任務為例，學習算法的期望預測為
使用樣本數相同的不同訓練集產生的方差為
噪聲為
期望輸出與真實標記的差別成為偏差，即
可對算法的期望泛化誤差進行分解：
回顧偏差，方差，噪聲的含義：
偏差度量了學習算法的期望預測與真實結果的偏離程度，即刻畫了學習算法本身的擬合能力；
方差度量了同樣大小的訓練集的變動所導致的學習性能的變化，即刻畫了數據擾動所造成的影響；
噪聲則表達了在當前任務上任何學習算法所能達到的期望泛化誤差的下界，即刻畫了學習問題本身的難度。
偏差-方差分解說明，泛化性能是由學習算法的能力，數據的充分性，以及學習任務本身的難度所共同決定的。
一般來說，偏差與方差是有沖突的，這稱為偏差-方差窘境。如下圖所示，給定學習任務，假定我們能夠控制學習算法的訓練程度，則在訓練不足時，學習器的擬合能力不夠強，訓練數據的擾動不足以使學習器產生顯著變化，此時偏差主導了泛化錯誤率；隨着訓練程度的加深，學習器的擬合能力逐漸增強，訓練數據發生的擾動漸漸能被學習器學到，方差逐漸主導了泛化錯誤率；在訓練程度充分后，學習器的擬合能力已經非常強，訓練數據發生的輕微擾動都能導致學習器發生顯著變化，若訓練數據自身的，非全局的特性被學習器學到了，則發生了過擬合。
版權聲明：
本文由笨兔勿應所有，發布於http://www.cnblogs.com/bentuwuying。如果轉載，請注明出處，在未經作者同意下將本文用於商業用途，將追究其法律責任。