简单介绍下python的几个自动求导工具，tangent、autograd、sympy； 　　在各种机器学习、深度学习框架中都包含了自动微分，微分主要有这么四种：手动微分法、数值微分法、符号微分法、自 ...

梯度下降法（Gradient Descendent）是机器学习的核心算法之一，自动微分则是梯度下降法的核心； 　　梯度下降法用于求损失函数的最优值，前面的文章中我们说过梯度下降是通过计算参数与损失函数 ...

本文介绍了五种微分方式，最后两种才是自动微分。 前两种方法求出了原函数对应的导函数，后三种方法只是求出了某一点的导数。 假设原函数是$f(x,y) = x^2y + y +2$，需要求其偏导数$\ ...

前言 神经网络的优化多采用诸如梯度下降法的基于一阶导数的优化方法（PS：可参见之前写的一篇文章 http://www.cnblogs.com/simplex/p/6777705.html，用下降单纯 ...