梯度下降法（Gradient Descendent）是机器学习的核心算法之一，自动微分则是梯度下降法的核心； 　　梯度下降法用于求损失函数的最优值，前面的文章中我们说过梯度下降是通过计算参数与损失函数的梯度并在梯度的方向不断迭代求得极值；但是在机器学习、深度学习中很多求导往往是很复杂的，手动使用 ...

1. 连续函数 1.1 连续和间断 　　实数的完备性是分析学的基础，它自然也是微积分的出发点。极限是实数完备性的具体描述，我们的微积分之旅也从这里开始。在《实数系统》中，我们已经讨论了实数的完备性和极限的概念，这里把极限的概念引入到函数中。在集合论中，函数被看成是集合间的映射，当在集合中引入 ...

注释： 转载请注明出处http://www.cnblogs.com/HuisClos/articles/6966036.html 在我们所讨论的三度空间（三维）中，能够出现的微分形式只有四种： 零次微分形式——函数 f 一次微分形式——线积分中出现的微分dx,dy,dz ...

　　在一元函数中，我们已经知道导数就是函数的变化率。对于二元函数我们同样要研究它的“变化率”。 　　在xOy平面内，当动点由P(x0,y0)沿不同方向变化时，函数f(x,y)的变化快慢一般说来是不同的，因此就需要研究f(x,y)在(x0,y0)点处沿不同方向的变化率。 　　在这里我们只学习函数 ...

和、差、积、商求导法则 　　设u=u(x),v=v(x)都可导，则： (Cu)’ = Cu’, C是常数 (u ± v)’ = u’ ± v’ (uv)’ = u’v + uv’ ...

什么是反函数 　　一般地，设函数y=f(x)(x∈A)的值域是C，若找得到一个函数g(y)在每一处g(y)都等于x，这样的函数x= g(y)(y∈C)叫做函数y=f(x)(x∈A)的反函数，记作y= ...

幂函数的扩展形式 　　f(x) = xn的导数：f’(x) = nxn-1，n是整数，该公式对f(x) = xm/n, m,n 是整数同样适用。 　　推导过程： 　　两端同时求导，由于y是x的函数，根据链式求导法则： 什么是隐函数 　　引自知乎： 　　“如果方程F(x,y ...

什么是导数 　　导数是高数中的重要概念，被应用于多种学科。 　　从物理意义上讲，导数就是求解变化率的问题；从几何意义上讲，导数就是求函数在某一点上的切线的斜率。 　　我们熟知的速度公式：v = s/t，这求解的是平均速度，实际上往往需要知道瞬时速度： 　　当t趋近于t0，即t-t0 ...