目錄
導數
偏導數
方向導數
梯度
參考資料
| 導數 |
導數反映的是函數y=f(x)在某一點處沿x軸正方向的變化率。
比如y=x2，在x=1處的導數=2。
導數是通過極限來定義的，某一點的導數=tanψ，但是前提是△x趨近於0，此時tanψ=tanα=該點導數，公式如下：
| 偏導數 |
在多元函數中，偏導數指的是函數y(x1,x2,…,xn)沿某一坐標軸(x1,x2,…,xn)正方向的變化率。
比如z=x2+y2，在(1,2)處的在x方向上的偏導數：
截取y=2的曲線，可以發現在x方向的導數=2
| 方向導數 |
導數和偏導數都是沿坐標軸正方向的變化率。那么當我們討論函數沿任意方向的變化率時，也就引出了方向導數的定義，即：某一點在某一趨近方向上的導數值。
比如，可以計算函數在點A(2,2,8)處沿黑色箭頭方向的導數。這里有兩種計算方式：
方式1：
方式2：
與x=y聯立方程組，得到過點A的剖面
易知，剖面方程為z=2x2,以z為縱軸，x坐標軸方向換為L的方向，得到
點A(2,2,8)在x’方向上的坐標為
，因此在A點處沿L方向的導數為
| 梯度 |
梯度是一個向量，表示某一函數在該點處的方向導數沿着該方向取得最大值，即函數在該點處沿着該方向（此梯度的方向）變化最快，變化率最大（為該梯度的模）。
這里注意三點：
1）梯度是一個向量，即有方向有大小；
2）梯度的方向是最大方向導數的方向；
3）梯度的值是最大方向導數的值。
比如z=x2+y2+xy在點A(2,2,12)處的梯度為
如圖，在A點，紅色方向是最大方向導數的方向，很明顯紅線方向的導數高於沿着黑線方向的導數。
那么A點的梯度方向是紅色方向；A點的梯度值為
| 參考資料 |
[機器學習] ML重要概念：梯度（Gradient）與梯度下降法（Gradient Descent）
https://blog.csdn.net/walilk/article/details/50978864