最优超平面(分类面) 　　如图所示, 方形点和圆形点代表两类样本, H 为分类线,H1, H2分别为过各类中离分类线最近的样本且平行于分类线的直线, H1、H2上的点（xi, yi）称为支持向量， 它们之间的距离叫做分类间隔(margin)。中间那条分界线并不是唯一 ...

SVM：超平面方程w'x+b=0；w,x均是向量，w'代表w的转置w=[w1;w2;w3;w4......wn];x=[x1;x2;x3......xn];一直不理解什么意思，今天看了网上的一个blog现在明白了，记录一下，以后查看。 以二维平面为例吧，在二维平面上 超平面方程就是一条直线。一般 ...

摘要 本文主要说明SVM中用到的超平面方程是怎么来的，以及各个符号的物理意义，怎么算空间上某点到该平面的距离。 正文 《 统计学习方法》一书给出如下说明： 　　 首先说明我对超平面的理解： 在三维坐标系里，XoY平面把三维坐标系”分割”成两个空间，这个分割平面引申到一维 ...

Farkas 引理 当求解一个线性规划问题时，如何确定线性不等式约束是否存在可行解呢？这一部分使用对偶理论找到另一组线性不等式，使得这个问题与原问题的可行性等价。而这个新问题的思路是去寻找原问题不可行的条件。 比如，考虑标准型问题，约束为\(Ax=b\)以及\(x\geq 0\)。假设存在 ...

定义：$n$ 维线性空间中维度为 $n - 1$ 的子空间，它可以把线性空间分割为不相交的两部分。 这里的 $n$ 必须大于 $3$，其子空间才能称之为超平面。 更直观得来理解超平面：超平面其实就是平面中的直线、空间中的平面之推广。在三维坐标系里，$XoY$ 平面把三维坐标系”分割”成 两个 ...

什么是超平面 我们最常见的平面概念是在三维空间中定义的: \[Ax + By + Cz + D = 0 \] 它由两个性质定义: 方程是线性的: 是空间点的各分量的线性组合 方程数量为1 若抛却维度等于3的限制, 就得到了超平面的定义. 方程数量为1, 它的本质 ...

决策的最优停止理论 “认知”的局限性和边界 以前的课程里我们讲到过：认知是一种我们生存的手段。一个物种要生存繁衍需要各种各样的认知，包括感知和人类的理性活动，都是一个工具和手段。那么，我们应该如何用好和优化这个工具呢？ 首先，我们要清楚这个工具本身的局限。 比如说，人活着 ...

概念： 当一个问题具有最优子结构性质时，可用动态规划算法，有时会有更简单有效的算法，那就是贪心算法，贪心算法是通过一系列的选择来得到问题的解，贪心算法并不从整体最优上加以考虑，所做的选择只是在某种意义上的局部最优解。但对范围相当广的许多问题能产生整体最优解。在一些情况下，即使贪心算法不能得到整体 ...