嶺回歸公式推導

對於最小二乘問題

 

加入常數項 ，令

 

                          

變量代換，可以寫成

 

其中θ是擬合系數。加入常數項 ，同時，希望擬合參數θ盡可能小，以降低預測值的敏感程度，可得：

 

注：結合起來理解：

 

目標函數是一個凸函數，對目標函數求導，導數等於0的點是最優點：

 

 

 

注意：

 

嶺回歸的推導與介紹，比較全面：https://www.jianshu.com/p/1677d27e08a7