最優超平面(分類面) 　　如圖所示, 方形點和圓形點代表兩類樣本, H 為分類線,H1, H2分別為過各類中離分類線最近的樣本且平行於分類線的直線, H1、H2上的點（xi, yi）稱為支持向量， 它們之間的距離叫做分類間隔(margin)。中間那條分界線並不是唯一 ...

SVM：超平面方程w'x+b=0；w,x均是向量，w'代表w的轉置w=[w1;w2;w3;w4......wn];x=[x1;x2;x3......xn];一直不理解什么意思，今天看了網上的一個blog現在明白了，記錄一下，以后查看。 以二維平面為例吧，在二維平面上 超平面方程就是一條直線。一般 ...

摘要 本文主要說明SVM中用到的超平面方程是怎么來的，以及各個符號的物理意義，怎么算空間上某點到該平面的距離。 正文 《 統計學習方法》一書給出如下說明： 　　 首先說明我對超平面的理解： 在三維坐標系里，XoY平面把三維坐標系”分割”成兩個空間，這個分割平面引申到一維 ...

Farkas 引理 當求解一個線性規划問題時，如何確定線性不等式約束是否存在可行解呢？這一部分使用對偶理論找到另一組線性不等式，使得這個問題與原問題的可行性等價。而這個新問題的思路是去尋找原問題不可行的條件。 比如，考慮標准型問題，約束為\(Ax=b\)以及\(x\geq 0\)。假設存在 ...

定義：$n$ 維線性空間中維度為 $n - 1$ 的子空間，它可以把線性空間分割為不相交的兩部分。 這里的 $n$ 必須大於 $3$，其子空間才能稱之為超平面。 更直觀得來理解超平面：超平面其實就是平面中的直線、空間中的平面之推廣。在三維坐標系里，$XoY$ 平面把三維坐標系”分割”成 兩個 ...

什么是超平面 我們最常見的平面概念是在三維空間中定義的: \[Ax + By + Cz + D = 0 \] 它由兩個性質定義: 方程是線性的: 是空間點的各分量的線性組合 方程數量為1 若拋卻維度等於3的限制, 就得到了超平面的定義. 方程數量為1, 它的本質 ...

決策的最優停止理論 “認知”的局限性和邊界 以前的課程里我們講到過：認知是一種我們生存的手段。一個物種要生存繁衍需要各種各樣的認知，包括感知和人類的理性活動，都是一個工具和手段。那么，我們應該如何用好和優化這個工具呢？ 首先，我們要清楚這個工具本身的局限。 比如說，人活着 ...

概念： 當一個問題具有最優子結構性質時，可用動態規划算法，有時會有更簡單有效的算法，那就是貪心算法，貪心算法是通過一系列的選擇來得到問題的解，貪心算法並不從整體最優上加以考慮，所做的選擇只是在某種意義上的局部最優解。但對范圍相當廣的許多問題能產生整體最優解。在一些情況下，即使貪心算法不能得到整體 ...