IRLS(迭代加权最小二乘)

本文转载自查看原文 2015-03-27 21:14 6194 IRLS/ mathmatical model

IRLS用于解决这种目标函数的优化问题（实际上是用2范数来近似替代p范数，特殊的如1范数）。

可将其等价变形为加权的线性最小二乘问题：

其中W（t）可看成对角矩阵，每步的w可用下面的序列代替

$w_i^{(0)} = 1$

$w_i^{(t)} = \big|y_i - X_i \boldsymbol \beta ^{(t)} \big|^{p-2}.$

如果 p=1,则将w(t)换为这种形式

$w_i^{(t)} = \frac{1}{\big|y_i - X_i \boldsymbol \beta ^{(t)} \big|}.$

有时为了保证分母不为零，加上了一个比较项（ $w_i^{(t)} = \frac{1}{\text{max}(\delta, \big|y_i - X_i \boldsymbol \beta ^{(t)} \big|)}.$ ）

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 逻辑斯特回归(logistic regression)的迭代变权最小平方差算法(IRLS) 非线性最小二乘参数平差迭代算法最小二乘法最小二乘法总体最小二乘（TLS）最小二乘法最小二乘拟合均值和最小二乘法最小二乘法思想最小二乘拟合（scipy实现）