SGD的動量（Momentum）算法
引入動量（Momentum）方法一方面是為了解決“峽谷”和“鞍點”問題；一方面也可以用於SGD 加速，特別是針對高曲率、小幅但是方向一致的梯度。 如果把原始的 SGD 想象成一個紙團在重力作用向下滾動，由於質量小受到山壁彈力的干擾大，導致來回震盪；或者在鞍點處因為質量小速度很快 ...
原文：(三) DP-SGD 算法解釋
We are starting a series of blog posts on DP SGD that will range from gentle introductions to detailed coverage of the math and of engineering details in making it work. 我們將開始撰寫關於 DP SGD 的一系列博客文章，內容從簡 ...
2021-09-13 20:53 0 162 推薦指數：
相關推薦
torch.optim.SGD()各參數的解釋
看pytorch中文文檔摘抄的筆記。 class torch.optim.SGD(params, lr=, momentum=0, dampening=0, weight_decay=0, nesterov=False)[source] 實現 ...
深度學習優化算法總結——從SGD到Adam
本文參考自：SGD、Momentum、RMSprop、Adam區別與聯系 上一篇博客總結了一下隨機梯度下降、mini-batch梯度下降和batch梯度下降之間的區別，這三種都屬於在Loss這個level的區分，並且實際應用中也是mini-batch梯度下降應用的比較多。為了在實際應用中彌補這種 ...
DP算法學習
遇到好多問題都在說DPDPDP啊啊啊，好苦惱自己多看看。無非分三步一步一步熟悉就好啦！ 原文：http://blog.sina.com.cn/s/blog_50eaa92f0100c8t7.html 動態規划算法的有效性依賴於待求解問題本身具有的兩個重要性質：最優子結構性質和子問題重疊性質 ...
DFS與DP算法
名詞解釋： DFS(Dynamic Plan)：動態規划 DFS(Depth First Search)：深度優先搜索 DFS與DP的關系 很多情況下，dfs和dp兩種解題方法的思路都是很相似的，這兩種算法在一定程度上是可以互相轉化的。 想到dfs也就常常會想到dp，當然在一些特定的適用 ...
從 SGD 到 Adam —— 常見優化算法總結
1 概覽 雖然梯度下降優化算法越來越受歡迎，但通常作為黑盒優化器使用，因此很難對其優點和缺點的進行實際的解釋。本文旨在讓讀者對不同的算法有直觀的認識，以幫助讀者使用這些算法。在本綜述中，我們介紹梯度下降的不同變形形式，總結這些算法面臨的挑戰，介紹最常用的優化算法，回顧並行和分布式架構，以及調研 ...
「算法筆記」樹形 DP
一、樹形 DP 基礎 又是一篇鴿了好久的文章……以下面這道題為例，介紹一下樹形 DP 的一般過程。 POJ 2342 Anniversary party 題目大意：有一家公司要舉行一個聚會，一共有 \(n\) 個員工，其中上下級的關系通過樹形給出。每個人都不想與自己的直接上級同時參加聚會 ...
[算法模板]SOS DP
[算法模板]SOS DP 正文 SOS-DP（\(\text{Sum over Subsets}\)）是用來解決這樣的問題的： 其實就是子集和DP。上面每個\(F[mask]\)里面包含了\(mask\)所有二進制子集的信息。這是一種\(n\log_2 n\)的DP方法。 我們定義一個 ...