一、逻辑回归 1) Classification(分类) 分类问题举例： 邮件：垃圾邮件/非垃圾邮件？ 在线交易：是否欺诈（是/否）？ 肿瘤：恶性/良性？ 以上问题可以称之为二分类问题，可以用如下形式定义： 其中0称之为负例，1称之为正例。 对于多分类问题 ...

本文是Andrew Ng在Coursera的机器学习课程的笔记。 Logistic回归属于分类模型。回顾线性回归，输出的是连续的实数，而Logistic回归输出的是[0,1]区间的概率值，通过概率值来判断因变量应该是1还是0。因此，虽然名字中带着“回归”（输出范围常为连续实数 ...

1.梯度下降法 在介绍梯度下降法之前，先介绍下泰勒公式，泰勒公式的基本形式如下： $f(x)=f({{x}_{0}})+{{f}^{'}}({{x}_{0}})(x-{{x}_{0}})+\frac{1}{2}{{f}^{''}}({{x}_{0}}){{(x-{{x ...

先来回顾一下梯度下降法的参数更新公式： （其中，α是学习速率，是梯度） 这个公式是怎么来的呢？下面进行推导： 首先，如果一个函数 n 阶可导，那么我们可以用多项式仿造一个相似的函数，这就是泰勒展开式。其在a点处的表达式如下： 可以看出，随着式子的展开，这个展 ...

梯度下降法 梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点 ...

一个典型的机器学习的过程，首先给出一组输入数据X，我们的算法会通过一系列的过程得到一个估计的函数，这个函数有能力对没有见过的新数据给出一个新的估计Y，也被称为构建一个模型。 我们用X1、X2...X ...

回归与梯度下降 回归在数学上来说是给定一个点集，能够用一条曲线去拟合之，如果这个曲线是一条直线，那就被称为线性回归，如果曲线是一条二次曲线，就被称为二次回归，回归还有很多的变种，如locally weighted回归，logistic回归 ...

通过学习斯坦福公开课的线性规划和梯度下降，参考他人代码自己做了测试，写了个类以后有时间再去扩展，代码注释以后再加，作业好多： 　　　　　　　　　　图1. 迭代过程中的误差cost ...