SGD的动量（Momentum）算法
引入动量（Momentum）方法一方面是为了解决“峡谷”和“鞍点”问题；一方面也可以用于SGD 加速，特别是针对高曲率、小幅但是方向一致的梯度。 如果把原始的 SGD 想象成一个纸团在重力作用向下滚动，由于质量小受到山壁弹力的干扰大，导致来回震荡；或者在鞍点处因为质量小速度很快 ...
原文：(三) DP-SGD 算法解释
We are starting a series of blog posts on DP SGD that will range from gentle introductions to detailed coverage of the math and of engineering details in making it work. 我们将开始撰写关于 DP SGD 的一系列博客文章，内容从简 ...
2021-09-13 20:53 0 162 推荐指数：
相关推荐
torch.optim.SGD()各参数的解释
看pytorch中文文档摘抄的笔记。 class torch.optim.SGD(params, lr=, momentum=0, dampening=0, weight_decay=0, nesterov=False)[source] 实现 ...
深度学习优化算法总结——从SGD到Adam
本文参考自：SGD、Momentum、RMSprop、Adam区别与联系 上一篇博客总结了一下随机梯度下降、mini-batch梯度下降和batch梯度下降之间的区别，这三种都属于在Loss这个level的区分，并且实际应用中也是mini-batch梯度下降应用的比较多。为了在实际应用中弥补这种 ...
DP算法学习
遇到好多问题都在说DPDPDP啊啊啊，好苦恼自己多看看。无非分三步一步一步熟悉就好啦！ 原文：http://blog.sina.com.cn/s/blog_50eaa92f0100c8t7.html 动态规划算法的有效性依赖于待求解问题本身具有的两个重要性质：最优子结构性质和子问题重叠性质 ...
DFS与DP算法
名词解释： DFS(Dynamic Plan)：动态规划 DFS(Depth First Search)：深度优先搜索 DFS与DP的关系 很多情况下，dfs和dp两种解题方法的思路都是很相似的，这两种算法在一定程度上是可以互相转化的。 想到dfs也就常常会想到dp，当然在一些特定的适用 ...
从 SGD 到 Adam —— 常见优化算法总结
1 概览 虽然梯度下降优化算法越来越受欢迎，但通常作为黑盒优化器使用，因此很难对其优点和缺点的进行实际的解释。本文旨在让读者对不同的算法有直观的认识，以帮助读者使用这些算法。在本综述中，我们介绍梯度下降的不同变形形式，总结这些算法面临的挑战，介绍最常用的优化算法，回顾并行和分布式架构，以及调研 ...
「算法笔记」树形 DP
一、树形 DP 基础 又是一篇鸽了好久的文章……以下面这道题为例，介绍一下树形 DP 的一般过程。 POJ 2342 Anniversary party 题目大意：有一家公司要举行一个聚会，一共有 \(n\) 个员工，其中上下级的关系通过树形给出。每个人都不想与自己的直接上级同时参加聚会 ...
[算法模板]SOS DP
[算法模板]SOS DP 正文 SOS-DP（\(\text{Sum over Subsets}\)）是用来解决这样的问题的： 其实就是子集和DP。上面每个\(F[mask]\)里面包含了\(mask\)所有二进制子集的信息。这是一种\(n\log_2 n\)的DP方法。 我们定义一个 ...