沿着梯度的方向為什么是函數值增加最快的方向?


以二元函數為例,$f(x,y)$,對於任意單位方向$u$,假設$u$是$x$軸的夾角,那么函數$f(x,y)$在$u$這個方向上的變化率為:

 $f_x(x,y) \cos \alpha + f_y(x,y) \sin \alpha=\nabla f(x,y)^T\begin{pmatrix}f_x(x,y) \\ f_y(x,y)\end{pmatrix}=\nabla f(x,y)^Tu$也就是兩個向量的點積

具體推導:

 

假設$\nabla f(x,y)$和$u$的夾角為$\theta$,那么函數$f(x,y)$在$u$這個方向上的變化率可以寫成:

$\nabla f(x,y)^Tu=\|\nabla f(x,y)\|_2 \|u\|_2 \cos \theta=\|\nabla f(x,y)\|_2\cos \theta$

$cos\theta$的取值范圍為[-1,1],當$cos\theta=1$時,函數變化率最大(上升最快),此時$u$是梯度$\nabla f(x,y)$的反方向。

 

推廣到n元函數,函數$f$在單位方向$u$的變化率為$\nabla f^T u$,假設$\nabla f(x,y)$和$u$的夾角為$\theta$,同樣函數$f$在$u$這個方向上的變化率可以寫成$\nabla f^Tu=\|\nabla f\|_2\|u\|_2 \cos \theta=\|\nabla f\|_2\cos \theta$,變化率由$cos\theta$決定。$u$和梯度$\nabla f(x,y)$同方向,上升最快;$u$和梯度$\nabla f(x,y)$反方向,下降最快。

 

 

 

 

 

 

 

參考文獻:

【1】梯度的方向為什么是函數值增加最快的方向?

【2】為什么梯度的反方向是函數下降最快的方向?

【3】方向導數公式的證明


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM