梯度下降法與方向導數


from https://www.zhihu.com/question/30672734

 

下面從梯度與方向導數的關系來解釋:

1 方向導數

  • 引入

原來我們學到的偏導數指的是多元函數沿坐標軸的變化率,但是我們往往很多時候要考慮多元函數沿任意方向的變化率,那么就引出了方向導數

  • 定義

(1)方向導數是個數值。

二維空間情形:


我們把f(x+Dx,y+Dy)-f(x,y)的值Value1與PP1的距離value2的比值的極值叫做沿PP1的方向導數。

三維空間計算過程相似;


換句話來說,方向導數就是研究在某一點處的任意方向的變化率~

 

2 梯度

首先我來說,梯度是一個向量,並不是原來方向導數說的那樣是一個數,那么這個向量是什么特殊的向量呢?還需要拿出來單獨研究,那就是梯度代表的是各個導數中,變化趨勢最大的那個方向,下面來介紹~

    • 定義

  • 證明

    梯度方向就是方向導數最大的方向,我們看如下:

  • 只有當Θ為0度的時候(cos\theta =1),方向導數最大(左邊的式子),也就是說方向導數什么情況下最大,就是它的方向(cos\alpha ,cos\beta )(這個方向公式中表示用x,y軸的線性組合表示了)和梯度方向一樣((f_{x}(x_{0},y_{0}),f_{y}(x_{0},y_{0}) ))(平行)的時候,這個方向導數是最大的....換句話也可以說,方向導數任意方向一定有個變化率最大的方向,這個時候,我們把這個最大的方向定義為梯度方向~



作者:憶臻
鏈接:https://www.zhihu.com/question/30672734/answer/139402480
來源:知乎
著作權歸作者所有。商業轉載請聯系作者獲得授權,非商業轉載請注明出處。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM