梯度下降法 梯度下降法（英语：Gradient descent）是一个一阶最优化算法，通常也称为最速下降法。 要使用梯度下降法找到一个函数的局部极小值，必须向函数上当前点对应梯度（或者是近似梯度）的反方向的规定步长距离点进行迭代搜索。如果相反地向梯度正方向迭代进行搜索，则会接近函数的局部极大值点 ...

线性回归形如y=w*x+b的形式，变量为连续型（离散为分类）。一般求解这样的式子可采用最小二乘法原理，即方差最小化， loss=min（y_pred-y_true）^2。若为一元回归，就可以求w与b的偏导，并令其为0，可求得w与b值；若为多元线性回归， 将用到梯度下降法求解，这里的梯度值w的偏 ...

逻辑回归(Logistic regression) 以下均为自己看视频做的笔记，自用，侵删！ 还参考了：http://www.ai-start.com/ml2014/ 用梯度下降求解逻辑回归 Logistic Regression ...

一、逻辑回归 1) Classification(分类) 分类问题举例： 邮件：垃圾邮件/非垃圾邮件？ 在线交易：是否欺诈（是/否）？ 肿瘤：恶性/良性？ 以上问题可以称之为二分类问题，可以用如下形式定义： 其中0称之为负例，1称之为正例。 对于多分类问题 ...

由于第一次实验的实验报告不在这台机器，先写这一算法吧。 SGDLR（the Stochastic Gradient Descent for Logistic Regression），要讲解这一算法，首先要把名字拆为几块。 1 随机 2 梯度下降 3逻辑回归 先贴一篇文章：http ...

前一阵面试被问到逻辑回归的问题，没答好，现在对这一部分做个相对彻底的总结。部分内容来源于Andrew Ng的课。 逻辑回归主要解决二分类或者多分类问题，是用回归的思路，套上一个logistic函数，使得输出为0或者1的一种分类策略。 说到逻辑回归，不能不提线性回归，因此先把线性回归捋一遍 ...

一、逻辑回归简介 　　logistic回归又称logistic回归分析，是一种广义的线性回归分析模型，常用于数据挖掘，疾病自动诊断，经济预测等领域。 　　logistic回归是一种广义线性回归（generalized linear model），因此与多重线性回归分析有很多相 ...

本文是Andrew Ng在Coursera的机器学习课程的笔记。 Logistic回归属于分类模型。回顾线性回归，输出的是连续的实数，而Logistic回归输出的是[0,1]区间的概率值，通过概率值来判断因变量应该是1还是0。因此，虽然名字中带着“回归”（输出范围常为连续实数 ...