一 梯度
函數 z = f(x, y) 梯度表示為 
，其梯度方向始終指向函數較大值處。函數 z = f(x, y) 幾何圖形需要三維空間表示，為了更方便觀察函數，可以使用二維平面上等高線表示函數。例如：函數 
等高線可表示為XY平面上的同心圓。同理，函數 f(x, y, z) 梯度表示為 
，可以使用三為空間等值面表示函數。
函數梯度與等高線（或等值面）關系：任意點函數梯度向量垂直於該點所在等高線（或等值面）。
針對二維函數，其推導如下：
1）函數 z = f(x, y) 在XY平面上取任意一條等高線 f(x, y) = c ，將該條等高線上點表示為變量 t 的函數：x = x(t), y = y(t)，等高線可表示為 f(x(t), y(t)) = c；
2）在等高線上取任意一點，沿等高線移動一小段距離，函數值保持不變，則有：
，
， 
表示沿登高線切線方向，則可證明梯度垂直於等高線。
針對三維函數，思路與二維函數基本一致。首先選擇等值面 f(x, y, z) = c ， 在等值面上任意選取一條曲線：x = x(t), y = y(t), z = z(t)，等值面上任意一條曲線可表示為f(x(t), y(t), z(t)) = c 。然后沿該曲線移動一小段距離，函數值保持不變，則有 
， 
為等值面上任意一條曲線切線方向，表明梯度與等值面切線方向垂直，可證明梯度垂直於等值面。
二 方向梯度
針對多元函數，使用偏導可以得到坐標軸方向上函數變化情況。使用方向梯度，可以得到任意方向上函數變化情況。定義任意方向單位向量 
，沿單位向量移動單位距離，坐標軸變化情況為：
。通過建立x,y 與 s 的復合關系，函數 f(x, y) 可改寫為 f(x(s), y(s))， 則有 
。
因此，沿u方向上的方向梯度等於函數沿坐標軸上梯度向量與單位方向向量的點積。進一步觀察可得：
，其中 
為函數梯度向量與方向向量夾角。當梯度向量與方向向量平行時，函數在該點取得最大方向導數（反向為負值）；當梯度方向與方向導數反向時，函數在該點方向導數為零。
心得：根據以上推導，方向導數不可能在兩個正交方向上均取得較大值，而在角點檢測中，使用自相關函數檢測在兩個正交方向上均有較大變化的點，則該點應該為一個奇點（不可導）。
在圖像處理中，一般使用梯度方向作為邊緣方向，而圖像並非嚴格函數，通常會得到一些偏差較大邊緣方向，是否可以通過考察等高線上梯度值來獲得更好的邊緣方向？
三 拉格朗日乘數法
求解函數 f(x, y, z) 在限定條件 g(x, y, z) = c 時取得極值。
方法一：通過 g(x, y, z) = c 消除一個變量，可以將函數 f(x, y, z) 改寫成二元函數，使用一階偏導尋找到極值點。
方法二：使用拉格朗日乘數法，當函數 f(x, y, z) 取得極值時，滿足 
，g(x, y, z) = c，結合以上條件即可求解極值點，推導如下：
1）在 g(x, y, z) = c 等值面上任意取一點，該點如果為函數 f(x, y, z) 上的極值點，則沿該點任意方向上，其方向梯度滿足：
，則在 f 上梯度方向垂直於g所在切平面；
2）g 上梯度方向垂直於g所在切平面；
3）
。
例：求解f(x,y)極值，
，根據拉格朗日乘數法，建立如下關系：
，可求解函數 f 在限定 g 下的極值。
拉格朗日乘數法無法區分極大值或極小值，一般通過比較得到最大值或最小值。
參考：多變量微積分 Prof. Denis Auroux