在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。这里就对梯度下降法做一个完整的总结。 1. ...

　　1. logistic回归的基本思想　　 　　logistic回归是一种分类方法，用于两分类问题。其基本思想为： 　　a. 寻找合适的假设函数，即分类函数，用以预测输入数据的判断结果； 　　 ...

前言 多层网络的训练需要一种强大的学习算法，其中BP（errorBackPropagation）算法就是成功的代表，它是迄今最成功的神经网络学习算法。 今天就来探讨下BP算法的原理以及公式推导吧。 ...

在机器学习中，我们通常会根据输入 \(x\) 来预测输出 \(y\)，预测值和真实值之间会有一定的误差，我们在训练的过程中会使用优化器（optimizer）来最小化这个误差，梯度下降法（Gradien ...

概述 今天要说一下机器学习中大多数书籍第一个讲的（有的可能是KNN）模型-线性回归。说起线性回归，首先要介绍一下机器学习中的两个常见的问题：回归任务和分类任务。那什么是回归任务和分 ...

机器学习算法 原理、实现与实践 —— 感知机与梯度下降 一、前言 1，什么是神经网络？ 人工神经网络(ANN)又称神经网络(NN)，它是一种受生物学启发而产生的一种模拟人脑的学习系统。它通 ...

目录 最优化方法 1 - 梯度下降 Gradient Descent 2 - Mini-Batch Gradient descent 3 - 动量Momentum ...

一、概率 　　在引入问题前，我们先复习下数学里面关于概率的基本概念 　　概率：对一件事发生的可能性衡量 　　范围：0<=P<=1 　　计算方法：根据个人置信区间；根据历史数据；根据 ...

作者：桂。 时间：2017-04-01 06:39:15 链接：http://www.cnblogs.com/xingshansi/p/6654372.html 声明：欢迎被转载，不过记得注 ...

training set 训练集　　validation set 验证集　　test set测试集 这些与衡量你做的怎么样有关 当你知道怎么衡量你在一个问题的表现，问题就解决了一半。（衡量表现 ...