起本篇题目还是比较纠结的，原因是我本意打算寻找这样一个算法：在测量数据有比较大离群点时如何估计原始模型。 上一篇曲面拟合是假设测量数据基本符合均匀分布，没有特别大的离群点的情况下，我们使用最小二乘得到了不错的拟合结果。 但是当我加入比如10个大的离群点时，该方法得到的模型就很难看了。所以我就在 ...

一般的最小二乘通常是一次拿到全部的数据， 对所有数据进行统一优化计算得到模型系数。 递推最小二乘是以一种递推的方式计算最小二乘，每次使用最新的测量值，来不断更新模型系数。 递推公式如下： 公式中A和B为测量值，X为模型系数。 matlab代码如下： 拟合 ...

Neighbor （k-NN）分类器，该分类器的基本思想是通过将测试图像与训练集带标签的图像进行比较 ...

最近在分析一些数据，就是数据拟合的一些事情，用到了matlab的polyfit函数，效果不错。 因此想了解一下这个多项式具体是如何拟合出来的，所以就搜了相关资料。 这个文档介绍的还不错，我估计任何一本数值分析教材上讲的都非常清楚。 推导就不再写了，我主要参考下面两页PPT，公式和例子讲 ...

解最小二乘的方法有很多，这里给出常见的三种方法实现。 一是一般方法，之前博客一般都用这种方法。 二是svd分解法，之前有用过svd(见这里，这里，这里和这里)解其他问题，但是没用来解过最小二乘。 三是qr分解法，这个好像没用过。 这里主要总结记录一下实现方法。 代码 ...

一、通俗的解释： 问题提出：还是以iris的数据为例，有A、B、C三种花，每一类的特征都用4维特征向量表示。现在已知一个特征向量，要求对应的类别，而我们人可以直接通过眼睛看而作出分类的是在一维二维三维空间，而不适应这样的四维数据。 启示：假设有这样的一个方向向量，其与特征向量进行内积运算 ...

Fisher准则函数 Fisher准则的基本原理：找到一个最合适的投影轴，使两类样本在该轴上投影之间的距离尽可能远，而每一类样本的投影尽可能紧凑，从而使分类效果为最佳。 假设有两类样本，分别为$X_1$和$X_2$ 则各类在d维特征空间里的样本均值为： $$M_i ...

目前了解到的 MATLAB 中分类器有： K 近邻分类器，随机森林分类器，朴素贝叶斯，集成学习方法，鉴别分析分类器，支持向量机。现将其主要函数使用方法总结如下，更多细节需参考 MATLAB 帮助文件。 设 　　训练样本： train_data ...