的正例和反例用超平面分开，但是不是简单地分看，其原则是使正例和反例之间的间隔最大。 超平面是什么呢 ...

今天是机器学习专题的第34篇文章，我们继续来聊聊SVM模型。 我们在上一篇文章当中推导了SVM模型在硬间隔的原理以及公式，最后我们消去了所有的变量，只剩下了\(\alpha\)。在硬间隔模型当中，样本是线性可分的，也就是说-1和1的类别可以找到一个平面将它完美分开。但是在实际当中，这样的情况 ...

SVM目前被认为是最好的现成的分类器，SVM整个原理的推导过程也很是复杂啊，其中涉及到很多概念，如：凸集和凸函数，凸优化问题，软间隔，核函数，拉格朗日乘子法，对偶问题，slater条件、KKT条件还有复杂的SMO算法！ 相信有很多研究过SVM的小伙伴们为了弄懂它们也是查阅了各种资料，着实费了 ...

　　 SVM之问题形式化 >>>SVM之对偶问题 　　 SVM之核函数 　　 SVM之解决线性不可分 　　 写在SVM之前——凸优化与对偶问题 前一篇SVM之问题形式化中将最大间隔分类器形式化为以下优化问题： \[\begin{align}\left ...

今天是机器学习专题第35篇文章，我们继续SVM模型的原理，今天我们来讲解的是SMO算法。 公式回顾 在之前的文章当中我们对硬间隔以及软间隔问题都进行了分析和公式推导，我们发现软间隔和硬间隔的形式非常接近，只有少数几个参数不同。所以我们着重来看看软间隔的处理。 通过拉格朗日乘子法以及对原问题 ...

核函数 　　在上文中我们已经了解到使用SVM处理线性可分的数据，而对于非线性数据需要引入核函数的概念它通过将数据映射到高维空间来实现线性可分。在线性不可分的情况下，支持向量机通过某种事先选择的非线性映射(核函数)将输入变量映射到一个高维特征空间，在这个空间中构造最优分类超 ...

二、对偶问题 1、优化问题的类型 （1）无约束优化问题： 　　　　　　　　　　　 　　求解方法：求取函数f(x)的导数，然后令其为零，可以求得候选最优值，再在这些候选值中验证；如果是凸函数，可以保证是最优解。 （2）有等式约束的优化问题： 　　　　　　　　　　　　 　　即把等式 ...

浅析SVM中的对偶问题 关于SVM对偶问题求解的博客有很多，但是关于为什么要进行对偶问题的分析却很零散，这里做一个总结 1. 为什么要研究对偶问题? 广义上讲，将原问题的研究转换为对偶问题的研究主要有一下几个优势: 原始问题的约束方程数对应于对偶问题的变量数, 而原始问题的变量 ...