迭代更新數學公式推導過程
1、牛頓法
首先對於有n個變量的函數的一階導數為：
其次對於其二階導數為：
之后關於目標函數的包含二階導數的泰勒展開式為：
這時將
看成
的函數，則根據函數的最小值性質，當偏導數等於0時出取得，從而得到
，所以
，根據等式的特點得到，只有兩者都取0時才能使等式等於0，所以得：
（最小值）
故牛頓法的迭代公式為：
2、梯度下降法
在開始推導之前，來介紹一下一個概念：梯度（當前函數位置的導數），同時它也表示某一函數在該點處的方向導數沿着該方向取得較大值。
梯度：
之后這里給出一階泰勒展開式
由於
都是矢量，則
也是矢量，則根據矢量與向量的關系，這時我們可以用一個單位向量V（下一步將要變化的方向）與標量的乘積來表示：
，而
便是我們所說的步進長度。這時
表達式為：
又由我們的目的出發，所以可以我們希望通過這個迭代變化使
比
小，以此達到最小值。所以由公式
，當梯度方向
與
成反方向時，能最大程度的朝着局部下降的方向變化，使
取得最大值。根據
與
的數學關系，這時可以得出
與
的計算關系：
（一般情況，單位向量都是正向的）
與
（由於是標量，可以把它與步進長度合到一起）
故梯度下降法的迭代公式為：
