【轉載】 https://www.zhihu.com/question/20448464/answer/765401873
在忽略噪聲的情況下，泛化誤差可分解為偏差、方差兩部分。
偏差：度量學習算法的期望預測與真實結果的偏離程度，也叫擬合能力。
方差：度量了同樣大小的訓練集的變動所導致的學習性能的變化，即刻畫了數據擾動造成的影響。---摘自《機器學習》，周志華
針對偏差和方差的思路：
偏差：實際上也可以稱為避免欠擬合。
1、尋找更好的特征 -- 具有代表性。
2、用更多的特征 -- 增大輸入向量的維度，增加模型復雜度。
方差：避免過擬合 。
1、增大數據集合 -- 使用更多的數據，減少數據擾動所造成的影響
2、減少數據特征 -- 減少數據維度，減少模型復雜度
3、正則化方法
4、交叉驗證法