1、梯度下降法 梯度下降法是最早最简单的，也是最为常用的最优化算法。梯度下降法实现简单，当目标函数是凸函数时，梯度下降法的解是全局解。一般情况下，其解不保证是全局最优解，梯度下降法的速度未必是最快的。梯度下降法的优化思想是用当前位置负梯度方向作为搜索方向，因为该方向为当前位置的最快下降方向 ...

目录 前言 常见概念 目标函数（objective function） 收敛（convergence） 局部最小值（local mininum） 全局最小值（global mininum） 导数（derivative ...

机器学习几种常见优化算法介绍 https://blog.csdn.net/class_brick/article/details/78949145 1. 梯度下降法（Gradient Descent） 2. 牛顿法 ...

1.找到最优学习率的方法 （1）笨方法——指数提高学习率 从0.0001开始尝试，然后用0.001，每个量级的学习率都去跑一下网络，然后观察一下loss的情况，选择一个相对合理的学习率，但是这种方法太耗时间了。 （2）简单的启发方法【有时间总结】 参考：https ...

之前学习机器学习和数据挖掘的时候，很多都是知道这些算法的设计机制，对数学推导和求解过程依然是一知半解，最近看了一些机器学习算法的求解和各种优化算法，也发现了这些算法设计和公式推导背后的数学精妙之处和随处可见的最优化的影子。还是决定从最优化理论开始补起，本文主要内容如下： ...

1. 前言 熟悉机器学习的童鞋都知道，优化方法是其中一个非常重要的话题，最常见的情形就是利用目标函数的导数通过多次迭代来求解无约束最优化问题。实现简单，coding 方便，是训练模型的必备利器之一。这篇博客主要总结一下使用导数的最优化方法的几个基本方法，梳理梳理相关的数学知识，本人也是一边 ...

机器学习无疑是当前数据分析领域的一个热点内容。很多人在平时的工作中都或多或少会用到机器学习的算法。本文为您总结一下常见的机器学习算法，以供您在工作和学习中参考。 机器学习的算法很多。很多时候困惑人们都是，很多算法是一类算法，而有些算法又是从其他算法中延伸出来的。这里，我们从两个方面来给大家介绍 ...

1、线性回归算法 1.1算法概述 　　回归就是用一条曲线对数据点进行拟合，该曲线成为最佳拟合曲线，这个拟合过程称为回归。当该曲线为一条直线时，就是线性回归。 　　线性回归一般用来做连续值的预测，预测的结果是一个连续值。 　　在训练学习样本时，需要特征向量X和样本的实际结果Y，所以线性回归 ...