深度卷積網絡原理—實例講解梯度下降法參數更新過程

 首先，先回顧梯度下降公式：（下面利用均方差MSE損失來進行演示）

          

梯度下降的訓練公式：

 

 接下來，按照上面的公式進行求最大值的案例講解

  令，學習速率為0.1，初始化參數w₁=0，w₂=0，b=0

 樣本一：x₁=0.1，x₂=0.8

 輸出：

OUT=w₁x₁ + w₂x₂ + b =0*0.1 + 0*0.8 + 0 = 0

期望輸出=0.8

損失：

LOSS=(OUT-期望輸出)²=(0 - 0.8)²=0.64

 

回顧此前的公式：

 

因此，新的權重：

 

繼續看下一組樣本：

輸入：x₁=0.5，x₂=0.3

輸出：

 

期望輸出=0.5

 損失：

LOSS=(OUT-期望輸出)² = (0.2064-0.5)² = 0.0862

 

得到新權重：

 

訓練幾百個樣本后，參數w₁=0.5，w₂=0.5，b=0.166667