前面已经对感知机和SVM进行了简要的概述，本节是SVM算法的实现过程用于辅助理解SVM算法的具体内容，然后借助sklearn对SVM工具包进行实现。 　　SVM算法的核心是SMO算法的实现，首先对SMO算法过程进行实现，先对一些辅助函数进行定义： 　　然后实现一个简化版 ...

简单的感知机的使用界限上一节介绍了一个简单的感知机的运作过程，如下图: 由于输出的是0和1，所以激活函数f(u)的结果也是0或者1。 虽然简单的感知机可以解决一些问题，但是当涉及到比较复杂的问题的时候简单的感知机明显无法做到我们想要的。比如XOR运算。 对于简单的感知机的权重 ...

预测是用学习得到的感知机模型对新的输入实例进行分类，是神经网络与支持向量机的基础。 　　 2 感知 ...

Introduce 感知机模型(Perceptron)是一个最简单的有监督的二分类线性模型。他可以从两个方面进行介绍 方面一 问题分析 问题（一维）：儿童免票乘车问题（孩子身高低于1.2m可以免票上车） 这转换成数学表达式就是 $x:$身高，$y:\{-1:$免票 ,$1:$购票 ...

前提 这系列文章不是为了去研究那些数学公式怎么推导，而是为了能将机器学习的思想快速用代码实现。最主要是梳理一下自己的想法。 感知机 感知机，就是接受每个感知元（神经元）传输过来的数据，当数据到达某个阀值的时候就会产生对应的行为如下图，对应每个感知元有一个对应的权重，当数据到达阀值u的时候就会 ...

0x01 感知机 感知机是一种二类分类的线性分类器，属于判别模型（另一种是生成模型）。简单地说，就是通过输入特征，利用超平面，将目标分为两类。感知机是神经网络和支持向量机的基础。 假设输入空间为，输出空间是.其中，为一个特征向量，。 定义从输入空间到输出空间的函数：为感知机。为感知机的权重 ...

前言 　　过去几个月，一直在学习机器学习模型，输入只是学习的一部分，输出可以帮助自己更熟练地掌握概念和知识。把一个复杂的事物简单的讲述出来，才能表示真正弄懂了这个知识。所以我将在博客中尽量简单地把这些模型讲述出来，以加深自己的掌握，也为他人提供一点点参考。在此感谢大神刘建平Pinard的博客 ...

我们在上篇笔记中介绍了感知机的理论知识，讨论了感知机的由来、工作原理、求解策略、收敛性。这篇笔记中，我们亲自动手写代码，使用感知机算法解决实际问题。 先从一个最简单的问题开始，用感知机算法解决OR逻辑的分类。 下面我们来定义一个函数，用来判定一个样本点是否被正确分类了。由于此例中样本点 ...