https://blog.csdn.net/qq_31852975/article/details/72354578

多項式擬合與線性回歸

設M次多項式為 $f_{M} (x, w) = w_{0} + w_{1} + w_{2} x^{2} + . . . + w_{M} x^{M} = \sum_{j = 0}^{M} w_{j} x^{j}$

當損失函數為 $L (w) = \frac{1}{2} \sum_{i = 1}^{N} (\sum_{j = 0}^{M} w_{j} x^{j} - y_{i})$

時，通過解L(w)最小的問題，可以擬合出該多項式。
這個問題在《統計學習方法》李航的第一章中介紹。不過其中1.18帶入后的結果不正確。
具體錯誤見勘誤表http://www.hangli-hl.com/uploads/3/4/4/6/34465961/errata.pdf
具體推導過程http://blog.csdn.net/xiaolewennofollow/article/details/46757657

這里的多項表達式中，f是關於x的一個函數，式中只有一個變量x。

線性回歸假設特征與結果滿足線性關系。這里為什么可以假設為線性關系？為什么可以假設數據是獨立同分布的

這里使用Andrew Ng講義中的公式定義。
對於n個特征的特征向量

h θ (x) = θ 0 + θ 1 x

$L (w) = \frac{1}{2} \sum_{i = 1}^{N} (\sum_{j = 0}^{M} w_{j} x^{j} - y_{i})$

J (θ) = 1 2 \sum i = 1 M (

$L (w) = \frac{1}{2} \sum_{i = 1}^{N} (\sum_{j = 0}^{M} w_{j} x^{j} - y_{i})$

而使得 $J (θ)$

$L (w) = \frac{1}{2} \sum_{i = 1}^{N} (\sum_{j = 0}^{M} w_{j} x^{j} - y_{i})$

求偏導數的反方向。
這里為什么是反方向是梯度下降最小的方向？

對於每一個特征x，對 $J (θ)$

求偏導。

\partial \partial θ J ( θ ) = ( h ( θ ) ( x j )

$L (w) = \frac{1}{2} \sum_{i = 1}^{N} (\sum_{j = 0}^{M} w_{j} x^{j} - y_{i})$

遍歷n個樣本直至收斂

θ j : = θ j - a (y (i)

$L (w) = \frac{1}{2} \sum_{i = 1}^{N} (\sum_{j = 0}^{M} w_{j} x^{j} - y_{i})$

中的一個值，從而減少了遍歷的次數，否則每次都需要遍歷更新

θ^{T}

通過直接對 $J (θ)$

求導可得最小二乘優化方法。

θ = (X T X) - 1 X T y

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 多項式擬合多項式擬合 Python 確定多項式擬合/回歸的階數 Python 多項式擬合（一元回歸）機器學習之線性回歸、多項式回歸 numpy多項式擬合用python的numpy作線性擬合、多項式擬合、對數擬合 .Net多項式擬合 4-機器學習-多項式回歸+過擬合&欠擬合的處理、模型保存與加載機器學習-多項式回歸+過擬合&欠擬合的處理