一、相同点 　第一，LR和SVM都是分类算法（SVM也可以用与回归） 　第二，如果不考虑核函数，LR和SVM都是线性分类算法，也就是说他们的分类决策面都是线性的。 　　这里要先说明一点，那就是LR也是可以用核函数的。总之，原始的LR和SVM都是线性分类器，这也是为什么通常没人问你决策树和LR ...

　　这个问题在最近面试的时候被问了几次，让谈一下Logistic回归（以下简称LR）和SVM的异同。由于之前没有对比分析过，而且不知道从哪个角度去分析，一时语塞，只能不知为不知。 　　现在对这二者做一个对比分析，理清一下思路。 　　 　　相同点 　　1、LR和SVM都是分类算法（曾经我认为 ...

两种方法都是常见的分类算法，从目标函数来看，区别在于逻辑回归采用的是logistical loss，svm采用的是hinge loss。这两个损失函数的目的都是增加对分类影响较大的数据点的权重，减少与分类关系较小的数据点的权重。SVM的处理方法是只考虑support vectors，也就是和分类最 ...

LR: 　　LR的目标是最小化模型分布和经验分布之间的交叉熵，LR基于概率理论中的极大似然估计。首先假设样本为0或者1的概率可以用sigmoid函数来表示，然后通过极大似然估计的方法估计出参数的值，即让模型产生的分布P(Y|X)尽可能接近训练数据的分布。 SVM: 　　SVM的目标 ...

之前一篇博客中介绍了Logistics Regression的理论原理：http://www.cnblogs.com/bentuwuying/p/6616680.html。 在大大小小的面试过程中，经常会有这个问题：“请说一下逻辑回归（LR）和支持向量机（SVM）之间的相同点和不同点”。现在整理 ...

首先，SVM和LR(Logistic Regression)都是分类算法。SVM通常有4个核函数，其中一个是线性核，当使用线性核时，SVM就是Linear SVM，其实就是一个线性分类器，而LR也是一个线性分类器，这是两者的共同之处。 不同之处在于，第一，LR只要求计算出一个决策面，把样本点分为 ...

之前整理过一篇关于逻辑回归的帖子，但是只是简单介绍了一下了LR的基本思想，面试的时候基本用不上，那么这篇帖子就深入理解一下LR的一些知识，希望能够对面试有一定的帮助。 1、逻辑斯谛分布 介绍逻辑斯谛回归模型之前，首先看一个并不常见的概率分布，即逻辑斯谛分布。设X是连续 ...

一、LR LR,DT,SVM都有自身的特性，首先来看一下LR，工业界最受青睐的机器学习算法，训练、预测的高效性能以及算法容易实现使其能轻松适应工业界的需求。LR还有个非常方便实用的额外功能就是它并不会给出离散的分类结果，而是给出该样本属于各个类别的概率（多分类的LR就是softmax）,可以尝试 ...