導數，方向導數，切線、梯度是從高中就開始接觸的概念，然而對這幾個概念的認識不清，困惑了我很長時間，下面我將以圖文並茂的形式，對這幾個概念做詳細的解釋。
1， 導數
定義：設函數y=f(x)在點x0的某個鄰域內有定義，當自變量x在x0處有增量Δx，(x0+Δx)也在該鄰域內時，相應地函數取得增量Δy=f(x0+Δx)-f(x0)；如果當Δx→0時， Δy與Δx之比極限存在，則稱函數y=f(x)在點x0處可導，並稱這個極限為函數y=f(x)在點x0處的導數，記作：
下面以一元二次函數作為例子：
A是曲線方程 y = f(x)上的點，l是經過A的切線， ∠HAB的正切值代表了切線的斜率， △x -> 0的過程中，點C不斷逼向點H，最終兩者重合。
簡單起見，令 θ = ∠HAB，當 △x 取極限時，曲線上某點的導數 = 過該點切線的斜率。需要澄清的一個概念是： 雖然導數有正有負，它仍然是一個標量。
2，方向導數
從一元擴展到多元方程時，情況就變得有點復雜了。首先，多元函數代表的函數圖像不再是一條曲線，而是一個曲面（超曲面），通過曲面上的某一點，可以作無數條切線（這里我只討論可導的情況），這就引出了方向導數的概念，還是先看數學定義：
定義：設函數 z = f(x, y)在點 p(x, y) 的某一鄰域 U(p) 內有定義，自點 p 引射線 l， 設 x 軸到射線的轉角位 φ， 並設 p'(x + △x, y + △y) 為 l 上的另一點且 p' ∈U(p)，我們考慮函數的增量 f(x + △x, y + △y) - f(x, y) 與 p、p'兩點距離 ρ = sqrt( (△x)² + (△y)² )的比值， 當 p' 沿 l 趨向 p 時， 如果這個比的極限存在，則成這個極限為函數 f(x, y) 在點 p 沿方向 l 的方向導數，即：
這個定義是我從其他的地方抄的，看不懂 ？ 沒關系，現在我們分步講解。
上圖展示了如何求一個二元函數的方向導數，整個過程可分兩步來理解：
2.1 方向性
方向導數，顧名思意，是某個方向上的導數，需要從方向性與導數性兩方面來考慮。方向性比較容易理解：點A（不一定是原點）是 f(x, y) 上的點， 從點A出發，做一條射線 l， 射線 l 指向的方向就是我們需要研究的對象， 很明顯，射線 l 平行於 xoy平面 或 l 在 xoy平面上。
2.2 導數性
沿射線 l 作 一個垂直於 xoy 的平面，該平面與二元函數的圖像相交，形成一條空間上的曲線（圖中標黃色的部分），如果這條曲線以射線 l 的方向作為橫軸，Z方向作為縱軸，則可以理解為一個以 Z-A-L 為坐標系的一元函數曲線，利用一元函數的性質，可以很容易求出該曲線在 A 點的導數，為了表達清晰，我將A、B、C三點平移到 A'、B'、C'，∠B'A'C'的正切值就是A點的導數值，這個導數就是我們所說的方向導數。
需要注意的是，方向導數雖然有方向這個帽子，但它任然是標量。
3，偏導數
如果選定方向平行於X軸，則改該方向導數稱為 f(x,y) 對 x 的偏導數，如果選定方向平行於Y軸，則改方向導數稱為 f(x,y) 對 y 的偏導數，記為：
偏導數是方向導數的特殊情況。
4， 全導數
前面討論的方向導數、偏導數都是多元函數里面的概念，全導數則是復合函數里面的概念，這是需要我們仔細區分的，例如：
設u=u(x)、v=v(x)在x可導，z = f(u,v) 在相應點 (u,v) 有連續偏導數，則復合函數 z=f(u(x), v(x)) 在x可導，且有：
稱 ∂z/∂x 為函數 z = f(u, v) 相對變量 x 的全導數， 而 z 相對於自變量 u、v來說是二元函數， 不存在全導數之說。
5， 全微分
定義： 如果函數 z = f(x, y) 在定義域 D 內的點 (x, y) 處的全增量 △z = f(x + △x, y + △y)， 可表示成
其中：
其中，A、B不依賴於 △x， △y，僅與 x， y 有關，o(ρ)是關於ρ的高階無窮小， 則稱 f(x, y)在點 (x, y)處可微，A△x + B△y 稱為函數 f(x, y)在點 (x, y)的全微分，記做：
在講解全微分之前，需要對導數與微分他們微妙的差別做一下區分！
我們在討論導數時，總是會先確定一個自變量和一個因變量，然后把變化量取極限時的比例定義為導數（比如方向向量中的 ∂f 與 ∂l），對應的物理意義就是切線的斜率
微分研究的對象則是：在函數的某個鄰域D內，當變化量取極限時，因變量的變化 (△z) 是否可以用一個自變量的變化（△x，△y）的線性方程來表示，注意這個鄰域是一個空間的概念，這是區分可導與可微的關鍵。
可導 --> 可微 (不成立)
可微 --> 可導 (成立)
上面是一幅微分逼近的示意圖，前面我們在討論方向導數時，明確規定 △x， △y 是沿着直線 l 對函數 f 進行逼近，而全微分研究的范圍是某個鄰域D，也就是說 l 是一條曲線，△x， △y沿着任意曲線對函數 f 進行逼近也是可以的，可以看到可微對函數的質量（光滑度）要求高的多（可導只能保證線性方向是線性光滑的，可微表示鄰域內的任意位置都是線性性光滑的）。
6， 方向導數與偏導數
給定一個二元函數，我們如何求其方向導數。從定義上將，我們需要作出這條代表方向的射線，看其在函數上的投影曲線，作出投影曲線的切線，再量出切線與 xoy平面的夾角，求其正切值得到方向導數，但實際應用中，我們幾乎沒法作出投影曲線，更不可能量出切線的夾角，如何求方向導數？
高等數學給了我們一個簡便的工具用來計算方向導數，但是使用這個工具前對我們的函數有一個小小的要求，那就是要求函數在該點可微（幸好我們實際應用中的大部分問題都滿足這一條件）！
根據全微分的定義有：
兩邊同時除以 ρ：
左邊就是方向導數的定義
再來看右邊，因為 o(ρ) 是 ρ 的高階無窮小，在做除法時可以忽略不計，根據勾股定理（看前面關於全微分的定義）△x、△y，ρ是構成了直角三角形的三條邊，令:
化簡之后就可變成了我們方向導數的計算表達式：
這里之所以都使用余弦表示是為了方便向更高維擴展，而且向高維擴展時，滿足關系式：
7，梯度
定義： 設函數 z = f(x, y) 在平面區域D可微分（不少參考資料將這里描述為具有一階連續偏導數，個人認為此條件過於寬泛，實際上后面的推導都是基於全微分的前提下進行的），則對於每一點(x, y) ∈ D，都可定出一個向量：
稱這個向量為函數 z = f(x, y)的梯度， 記作：
上面以二元函數為例進行定義，擴展到高維大家自行想象。
注意，梯度是不同於我們前面所述的任何一個概念，它是一個矢量，即有大小，又有方向。
梯度向量處於 xoy 平面， 向量[∂f/∂x, ∂f/∂y] 決定了了梯度的方向，可以把梯度的角色理解成前面所說的直線 l （方向導數中代表方向的射線），實際上它就是一個特殊的 l：
沿着梯度方向的方向導數最大，並且方向導數最大值為梯度的長度。
這是一條很重要的性質，下面就來對其證明：
根據方向導數的計算表達式（以可微為前提）：
u是梯度向量，v是方向 l 所代表的單位向量，||v||的結果為1， 函數 f 與點 P 確定之后，||u||的值也唯一確定，現在只能通過改變 u 和 θ 來該表方向導數的大小
從定義式可以看出， θ = 0 時，方向導數達到最大，最大的方向導數：
8， 梯度與等高線
在實際的工程應用中，經常會用等高線描述一般的數學問題分析，比如說梯度下降法，SVM算法中的KKT條件，神經網絡中的BP算法等等。
以二元函數 $ z = f(x, y) =\sqrt{1 - x^2 - y^2} $為例進行說明：
上圖是函數在三維空間下的側視圖，A是函數圖像上的點，AC是過該點的切線，ABC正好組成了直角三角形。
$ \vec{AB} = \frac{∂z}{∂x} + \frac{∂z}{∂y} $
則根據定義，$ \vec{AB} $ 對應函數在 A 點的梯度，沿着梯度方向，函數增長率達到最大，注意，梯度是水平方向的$ \vec{AB} $ ，不是$ \vec{AC} $ ！
然后我們俯視函數圖像，用二維的透視圖代表三維的函數圖像，並將函數值相等的點用曲線連接在一起，就形成了如下形式的等高線圖：
因為這里二次方式是標准的半球面方程，所以畫出來的等高線是一圈一圈標准的圓，中心原點取得函數最大值，梯度向量AB映射之后與等高線相交，可以證明：
梯度方向與等高線切線方向垂直。
以下是證明過程：
任意等高線可以看做是以下函數聯合而成：
$\begin{equation}
\left\{
\begin{array}{lr}
z = f(x, y), & \\
z = c &
\end{array}
\right.
\end{equation}$
稱 $ z = f(x, y) = c $ 為等高線方程，它對應着 xoy 平面的一條曲線， $ \frac{dy}{dx} $ 為對應切線的斜率，根據性質：
$ -\frac{1}{\frac{dy}{dx}} = -\frac{\frac{1}{dy}}{\frac{1}{dx}} = -\frac{\frac{df}{dy}}{\frac{df}{dx}} = -\frac{f_{y}}{f_{x}} $ 為其法線的斜率。
又根據梯度的定義：
梯度方向的直接方程的斜率為：
$ \frac{\frac{∂f}{∂y}}{\frac{∂f}{∂x}} = \frac{f_{y}}{f_{x}} $
從同一點A出發，可以做出法線與梯度方向的直線，兩者斜率僅相差一個負號，所以梯度方向與過該點的等高線的切線垂直。
--------------------------------------------------------------------------------------------------------------------------------------------------------------------------
路漫漫其修遠兮，吾將上下而求索