【機器學習】理解方差、偏差且其泛化誤差的關系

https://blog.csdn.net/ChenVast/article/details/81385018

 

符號	涵義
	測試樣本
	數據集
	在數據集中的標記
	的真實標記
	訓練集  學得的模型
	由訓練集 學得的模型對 的預測輸出
	模型 對的 期望預測 輸出

 

方差

在一個訓練集 D上模型 f對測試樣本 x的預測輸出為 f(x;D), 那么學習算法 f對測試樣本 x的 期望預測 為:

上面的期望預測也就是針對 不同 數據集 D, f 對 x的預測值取其期望（平均預測）。

使用樣本數相同的不同訓練集產生的方差為:

 

偏差

期望預測與真實標記的誤差稱為偏差(bias), 為了方便起見, 我們直接取偏差的平方:

 

泛化誤差

以回歸任務為例, 學習算法的平方預測誤差期望為:

對算法的期望泛化誤差進行分解:

令噪聲為零，，所以紅色區域的等於零。

最后剩下 ,結果為泛化誤差 = 偏差 + 方差 + 噪聲

 

偏差、方差、噪聲

1. 偏差：度量了模型的期望預測和真實結果的偏離程度，刻畫了模型本身的擬合能力。
2. 方差：度量了同樣大小的訓練集的變動所導致的學習性能的變化，即刻畫了數據擾動所造成的影響。
3. 噪聲：表達了當前任務上任何模型所能達到的期望泛化誤差的下界，刻畫了學習問題本身的難度。

圖解偏差與方差

 

	低方差	高方差
低偏差	數據點集中+數據點落在預測點上	數據不集中+數據點部分落在預測點上（預測的准確率不高）
高偏差	數據點集中+數據點與預測點存在距離（預測不准）	數據點不集中+數據點基本不落在預測點上（預測不准）

 

方差和偏差與擬合

擬合程度	方差	偏差	原因	解決辦法
欠擬合		過高	訓練不足，偏差主導泛化誤差	集成學習；加深加迭代；加特征；降低正則化；
過擬合	過高		訓練過多，方差主導泛化誤差	降低模型復雜度；加正則懲罰項；加訓練集；減特征；提高正則化

 

 

參考：

http://www.cnblogs.com/makefile/p/bias-var.html#fn2

版權聲明：本文為博主原創文章，轉載請在文章開頭注明出處（作者+原文鏈接）。 https://blog.csdn.net/ChenVast/article/details/81385018