梯度下降法（Gradient Descendent）是机器学习的核心算法之一，自动微分则是梯度下降法的核心； 　　梯度下降法用于求损失函数的最优值，前面的文章中我们说过梯度下降是通过计算参数与损失函数的梯度并在梯度的方向不断迭代求得极值；但是在机器学习、深度学习中很多求导往往是很复杂的，手动使用 ...

微积分 定义 微分 \(\mathrm{d}y\) 就是对 \(y\) 的微分，是对 \(\Delta y\) 的近似. \(\mathrm{d}y=f'(x)\mathrm{d}x\) 如 \(\mathrm{d}(\sin x)=(\sin x)'\mathrm{d}x=\cos ...

微积分小感——1.导数与微分 所需的前置知识： 1）函数的概念 2）实数理论 3）极限理论（第0章） §1.导数 —1.速度、切线与导数的定义 ​ 想当年，牛老爵爷[1]发明“导数”（他称之为“流数”）的概念，便是为了解决如下的问题： 已知函数 \(y=f(x)\) 描述 ...

　　微分在数学中的定义：由函数B=f(A)，得到A、B两个数集，在A中当dx靠近自己时，函数在dx处的极限叫作函数在dx处的微分，微分的中心思想是无穷分割。积分是微积分学与数学分析里的一个核心概念。通常分为定积分和不定积分两种。直观地说，对于一个给定的正实值函数，在一个实数区间上的定积分可以理解为 ...

Part1:差分与离散变化率 众所周知,一个函数\(f(x)\)可微的必要条件是其连续.对于定义域非紧密的函数,显然是无导数可言的.然而,回忆导数的定义 \[y'=\lim_{\Delta ...

目录 一个我们可以思考的问题 Takeaways 微积分 需要建立的概念 熟知的典型应用 极限与连续 数列存在极限的存在准则 函数极限 无穷小与无穷大 无界 ...

数列（sequence of number）：以正整数集（或它的有限子集）为定义域的函数。是一列有序的数。 数列的极限：如果有一个数列yn，不论事先指定一个多么小的正数ε，在n的无限增大的变化过程中 ...

1阶导：\(\frac {dy}{dx}\) 2阶导：\(\frac {d(\frac {dy}{dx})}{dx}=\frac {d^{~2}y}{dx^{~2}}\) n阶导：\(\frac ...