一般的最小二乘通常是一次拿到全部的数据， 对所有数据进行统一优化计算得到模型系数。 递推最小二乘是以一种递推的方式计算最小二乘，每次使用最新的测量值，来不断更新模型系数。 递推公式如下： 公式中A和B为测量值，X为模型系数。 matlab代码如下： 拟合 ...

参考： 1.http://read.pudn.com/downloads102/ebook/420359/chapter%203/3.doc ...

最近在分析一些数据，就是数据拟合的一些事情，用到了matlab的polyfit函数，效果不错。 因此想了解一下这个多项式具体是如何拟合出来的，所以就搜了相关资料。 这个文档介绍的还不错，我估计任何一本数值分析教材上讲的都非常清楚。 推导就不再写了，我主要参考下面两页PPT，公式和例子讲 ...

解最小二乘的方法有很多，这里给出常见的三种方法实现。 一是一般方法，之前博客一般都用这种方法。 二是svd分解法，之前有用过svd(见这里，这里，这里和这里)解其他问题，但是没用来解过最小二乘。 三是qr分解法，这个好像没用过。 这里主要总结记录一下实现方法。 代码 ...

IRLS用于解决这种目标函数的优化问题（实际上是用2范数来近似替代p范数，特殊的如1范数）。 可将其等价变形为加权的线性最小二乘问题： 其中W（t）可看成对角矩阵，每步的w可用下面的序列代替 如果 p=1,则将w(t)换为这种形式 有时为了保证分母不为零，加上了一个 ...

通常我们使用的最小二乘都需要预先设定一个模型，然后通过最小二乘方法解出模型的系数。 而大多数情况是我们是不知道这个模型的，比如这篇博客中z=ax^2+by^2+cxy+dx+ey+f 这样的模型。 局部加权线性最小二乘就不需要我们预先知道待求解的模型，因为该方法是基于多个线性函数的叠加，最终 ...

学习这个算法是为学习图像处理中的图割算法做准备的。 基本概念： 1.最大流是一个有向图。 2.一个流是最大流，当且仅当它的残余网络中不包括增广路径。 3.最小割就是网络中所有割中值最小的那个割，最小割是不唯一的，不过最小割的值是唯一的。 4.最大流的流量等于某一最小割的容量。 算法思想 ...