起本篇題目還是比較糾結的，原因是我本意打算尋找這樣一個算法：在測量數據有比較大離群點時如何估計原始模型。 上一篇曲面擬合是假設測量數據基本符合均勻分布，沒有特別大的離群點的情況下，我們使用最小二乘得到了不錯的擬合結果。 但是當我加入比如10個大的離群點時，該方法得到的模型就很難看了。所以我就在 ...

一般的最小二乘通常是一次拿到全部的數據， 對所有數據進行統一優化計算得到模型系數。 遞推最小二乘是以一種遞推的方式計算最小二乘，每次使用最新的測量值，來不斷更新模型系數。 遞推公式如下： 公式中A和B為測量值，X為模型系數。 matlab代碼如下： 擬合 ...

Neighbor （k-NN）分類器，該分類器的基本思想是通過將測試圖像與訓練集帶標簽的圖像進行比較 ...

最近在分析一些數據，就是數據擬合的一些事情，用到了matlab的polyfit函數，效果不錯。 因此想了解一下這個多項式具體是如何擬合出來的，所以就搜了相關資料。 這個文檔介紹的還不錯，我估計任何一本數值分析教材上講的都非常清楚。 推導就不再寫了，我主要參考下面兩頁PPT，公式和例子講 ...

解最小二乘的方法有很多，這里給出常見的三種方法實現。 一是一般方法，之前博客一般都用這種方法。 二是svd分解法，之前有用過svd(見這里，這里，這里和這里)解其他問題，但是沒用來解過最小二乘。 三是qr分解法，這個好像沒用過。 這里主要總結記錄一下實現方法。 代碼 ...

一、通俗的解釋： 問題提出：還是以iris的數據為例，有A、B、C三種花，每一類的特征都用4維特征向量表示。現在已知一個特征向量，要求對應的類別，而我們人可以直接通過眼睛看而作出分類的是在一維二維三維空間，而不適應這樣的四維數據。 啟示：假設有這樣的一個方向向量，其與特征向量進行內積運算 ...

Fisher准則函數 Fisher准則的基本原理：找到一個最合適的投影軸，使兩類樣本在該軸上投影之間的距離盡可能遠，而每一類樣本的投影盡可能緊湊，從而使分類效果為最佳。 假設有兩類樣本，分別為$X_1$和$X_2$ 則各類在d維特征空間里的樣本均值為： $$M_i ...

目前了解到的 MATLAB 中分類器有： K 近鄰分類器，隨機森林分類器，朴素貝葉斯，集成學習方法，鑒別分析分類器，支持向量機。現將其主要函數使用方法總結如下，更多細節需參考 MATLAB 幫助文件。 設 　　訓練樣本： train_data ...