CNN 細節一 batch和epoch以及找最小loss值得關系


半路出家,一直沒搞懂CNN底層運行關系,現在才慢慢清楚點

例子是出其理論學習者最好的幫手,So,我來個example

Example: 

15000個樣本,我們訓練模型的目的是找一組參數,使得該參數對應的模型能最大可能地符合所有樣本的值

(1)其實是根據loss function做梯度下降進行尋找能使loss functionz值最小的參數

   假設loss function 為f(X, A), 其中X=[x1,x2,.....xn]為一組我們要找的參數, A=[a1,a2,....,an]為我們的訓練樣本。

  通過在樣本A的基礎上對f(X, A)分別求x1,x2,x3...xn的偏導,來尋找函數f的最優解。

(2)15000個樣本,每個batch是15,一個epoch就是對15000個樣本跑一遍,一遍中有1000次迭代,每次迭代都通過 f(X,A)尋找到當前這組15個樣本情況下的最優參數。 然后進行1000迭代后就完成了一個epoch,也就對所有樣本跑了一遍。

(3)在進行多個epoch后,最終能找到最優的參數,訓練好模型。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM