局部加權回歸

局部加權回歸(Locally Weighted Regression, LWR)

局部加權回歸使一種非參數方法(Non-parametric)。在每次預測新樣本時會重新訓練臨近的數據得到新參數值。意思是每次預測數據需要依賴訓練訓練集，所以每次估計的參數值是不確定的。

局部加權回歸優點：

1. 需要預測的數據僅與到訓練數據的距離有關，距離越近，關系越大，反之越小；
2. 可以有效避免欠擬合，減小了較遠數據的干擾，僅與較近的數據有關。

對於一般訓練集：

    

    

參數系統為：

    

局部加權回歸原理：

圖1 局部加權回歸原理

線性回歸損失函數J(θ)：

    

局部加權回歸的損失函數J(θ)：

    

    

為相似度，這個相似度實際上就是SVM的高斯核函數，也就是高斯相似度。

令損失函數最小，最后得到θ。

普通線性回歸參數一般為m+1，而對於局部加權的線性回歸參數個數可能有無窮多個(也就是說參數個數跟樣本數量相關)。

普通的線性回歸，訓練完成之后只保留參數，而局部線性回歸中需要保留樣本與參數來得到模型

參數數量有限的叫做有參模型，而參數數量無限的叫做無參模型(參數無窮多)。

 

原創文章，轉載請注明出處！