一、逻辑回归 1) Classification(分类) 分类问题举例： 邮件：垃圾邮件/非垃圾邮件？ 在线交易：是否欺诈（是/否）？ 肿瘤：恶性/良性？ 以上问题可以称之为二分类问题，可以用如下形式定义： 其中0称之为负例，1称之为正例。 对于多分类问题 ...

逻辑斯蒂回归（logistic regression，又称“对数几率回归”）是经典的分类方法。虽然名字中包含回归，但它被用来分类。 逻辑斯蒂分布 设 \(X\) 是随机变量，\(X\) 服从逻辑斯蒂分布是指 \(X\) 的概率分布函数 \(F(x)\) 和概率密度函数 \(f(x ...

1.梯度下降法 在介绍梯度下降法之前，先介绍下泰勒公式，泰勒公式的基本形式如下： $f(x)=f({{x}_{0}})+{{f}^{'}}({{x}_{0}})(x-{{x}_{0}})+\frac{1}{2}{{f}^{''}}({{x}_{0}}){{(x-{{x ...

第三章 使用sklearn 实现机学习的分类算法 分类算法 分类器的性能与计算能力和预测性能很大程度上取决于用于模型训练的数据 训练机器学习算法的五个步骤： 特征的选择 ...

http://blog.csdn.net/hechenghai/article/details/46817031 主要参照统计学习方法、机器学习实战来学习。下文作为参考。 第一节中说了，logistic 回归和线性回归的区别是：线性回归是根据样本X各个维度的Xi的线性叠加（线性叠加的权重 ...

梯度下降法 梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点 ...

一个典型的机器学习的过程，首先给出一组输入数据X，我们的算法会通过一系列的过程得到一个估计的函数，这个函数有能力对没有见过的新数据给出一个新的估计Y，也被称为构建一个模型。 我们用X1、X2...X ...

回归与梯度下降 回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归 ...