這是對之前的Momentum的一種改進,大概思路就是,先對參數進行估計,然后使用估計后的參數來計算誤差
具體實現:
需要:學習速率 ϵ, 初始參數 θ, 初始速率v, 動量衰減參數α
每步迭代過程:
免責聲明！
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。
這是對之前的Momentum的一種改進,大概思路就是,先對參數進行估計,然后使用估計后的參數來計算誤差
具體實現:
需要:學習速率 ϵ, 初始參數 θ, 初始速率v, 動量衰減參數α
每步迭代過程:
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。