梯度下降法（Gradient Descendent）是機器學習的核心算法之一，自動微分則是梯度下降法的核心； 　　梯度下降法用於求損失函數的最優值，前面的文章中我們說過梯度下降是通過計算參數與損失函數的梯度並在梯度的方向不斷迭代求得極值；但是在機器學習、深度學習中很多求導往往是很復雜的，手動使用 ...

微積分 定義 微分 \(\mathrm{d}y\) 就是對 \(y\) 的微分，是對 \(\Delta y\) 的近似. \(\mathrm{d}y=f'(x)\mathrm{d}x\) 如 \(\mathrm{d}(\sin x)=(\sin x)'\mathrm{d}x=\cos ...

微積分小感——1.導數與微分 所需的前置知識： 1）函數的概念 2）實數理論 3）極限理論（第0章） §1.導數 —1.速度、切線與導數的定義 ​ 想當年，牛老爵爺[1]發明“導數”（他稱之為“流數”）的概念，便是為了解決如下的問題： 已知函數 \(y=f(x)\) 描述 ...

　　微分在數學中的定義：由函數B=f(A)，得到A、B兩個數集，在A中當dx靠近自己時，函數在dx處的極限叫作函數在dx處的微分，微分的中心思想是無窮分割。積分是微積分學與數學分析里的一個核心概念。通常分為定積分和不定積分兩種。直觀地說，對於一個給定的正實值函數，在一個實數區間上的定積分可以理解為 ...

Part1:差分與離散變化率 眾所周知,一個函數\(f(x)\)可微的必要條件是其連續.對於定義域非緊密的函數,顯然是無導數可言的.然而,回憶導數的定義 \[y'=\lim_{\Delta ...

目錄 一個我們可以思考的問題 Takeaways 微積分 需要建立的概念 熟知的典型應用 極限與連續 數列存在極限的存在准則 函數極限 無窮小與無窮大 無界 ...

數列（sequence of number）：以正整數集（或它的有限子集）為定義域的函數。是一列有序的數。 數列的極限：如果有一個數列yn，不論事先指定一個多么小的正數ε，在n的無限增大的變化過程中 ...

1階導：\(\frac {dy}{dx}\) 2階導：\(\frac {d(\frac {dy}{dx})}{dx}=\frac {d^{~2}y}{dx^{~2}}\) n階導：\(\frac ...