先來回顧一下什么是梯度：
對多元函數的參數求偏導數，把求得的各個參數的偏導數以向量的形式寫出來，就是梯度 。
接下來看一下什么是導數和偏導數：
我們知道，函數在某一點的導數就是該函數所代表的曲線在這一點上的變化率。而偏導數涉及到至少兩個自變量，因此，從導數到偏導數，就是從曲線變成了曲面。曲線上某一點的切線只有一條，但是曲面上某一點的切線卻有無數條。
這就牽出了方向導數的概念：如果函數f在某點(x,y)是可微分的，那么函數在該點沿任一方向的方向導數都存在，且有
（其中l為軸到方向的轉角）。這就是說，函數在曲面上某點的變化率是有方向的。
那么，為什么說梯度指向函數上升最快的方向呢？答案是：這就是梯度的定義。
首先來證明方向導數：
假設函數
在點
可微分，那么函數的增量可以表達為：
，
兩邊各除以ρ，得到：
所以：
這就證明了方向導數存在且其值為。
令向量
，方向l的向量為
，因此：
。當n與l同向時，便能取得最大的方向導數，我們稱n為f在該點的梯度。方向導數最大，也就是說n的模最大，函數f朝l方向的變化率最大。因此，從幾何意義上講，梯度指向函數增加最快的方向。
總結來說：函數在某點的梯度是這樣一個向量，它的方向與取得最大方向導數的方向一致，而它的模為方向導數的最大值。
參考：https://zhuanlan.zhihu.com/p/39358503