局部加權回歸

局部加權回歸(Locally Weighted Regression, LWR)

局部加權回歸使一種非參數方法(Non-parametric)。在每次預測新樣本時會重新訓練臨近的數據得到新參數值。意思是每次預測數據需要依賴訓練訓練集，所以每次估計的參數值是不確定的。

局部加權回歸優點：

1. 需要預測的數據僅與到訓練數據的距離有關，距離越近，關系越大，反之越小；
2. 可以有效避免欠擬合，減小了較遠數據的干擾，僅與較近的數據有關。

局部加權回歸原理：

圖1 局部加權回歸原理

對於一般訓練集：

    

    

參數系統為：

    

線性模型為：

    

線性回歸損失函數J(θ)：

    

局部加權回歸的損失函數J(θ)：

    

    

其中，τ為波長函數[1]，權重之所以采取指數形式是因為這個形式最常見。

[1] 機器學習。

原創文章，轉載請注明出處！