最优化学习笔记
注：该文是上了开智学堂数据科学基础班的课后做的笔记，主讲人是肖凯老师。 最优化 为什么要做最优化呢？因为在生活中，人们总是希望幸福值或其它达到一个极值，比如做生意时希望成本最小，收入最大，所以在很多商业情境中，都会遇到求极值的情况。 函数求根 这里「函数的根」也称「方程的根」，或「函数 ...
原文：优化学习率相关算法
优化学习率的相关算法 在使用优化算法的时候，常常会涉及到一些学习率的优化，那么我们应该怎么优化学习率呢 调整学习率的策略： .在斜率 方向导数 大的地方，使用小的学习率 .在斜率 方向导数 小的地方，使用大的学习率 下面我们通过梯度下降算法进行学习率的优化分析 在梯度下降中，设x k a，那么沿着负梯度方向，移动到x k b,则有： 那么，从x 出发，每次沿着当前函数梯度反方向移动一定的距离ak， ...
2020-05-11 20:04 0 596 推荐指数：
相关推荐
数值优化学习之概览（一）
问题： 优化一个目标函数f(x)，满足一些约束c(x)，等式或者不等式。满足约束的解成为可行解。 分类： 连续/离散优化问题 约束/非约束优化问题 线性/非线性优化问题 全局/局部优化问题 随机/确定性优化问题 凸优化： 1、凸集：如果集合S为凸集，当且仅当 x∈S, y∈S ...
斜率优化学习笔记
发现自己傻傻分不清斜率优化和决策单调性→_→，被一些博客误导了。。于是总结一下。萌新们可以先写写[hnoi2008]玩具装箱，并不难。 数 相信有心想学习斜率优化的同志们一定自己摸索着写过[hnoi2008]玩具装箱这道题吧，我刚开始学习斜率优化的时候，也是写了这个，然后似懂非懂的发现 ...
凸优化学习笔记
在优化问题中，寻找最优解过程中两个基本的难点：一是局部最优不一定是全局最优，而通过各类算法找到的最优值往往是局部最优值；其次便是约束条件的复杂性导致求解算法的复杂性大幅度增加。凸优化问题的优势在于其局部最优解就是全局最优解，技巧与难点体现在描述问题的环节，一旦问题被建模为凸优化问题，求解过程 ...
第十一节，全连接网络中的优化技巧-过拟合、正则化,dropout、退化学习率等
随着科研人员在使用神经网络训练时不断的尝试，为我们留下了很多有用的技巧，合理的运用这些技巧可以使自己的模型得到更好的拟合效果。 一 利用异或数据集演示过拟合 全连接网络虽然在拟合问题上比较强大， ...
强化学习的算法分类
强化学习——强化学习的算法分类 from: https://www.jianshu.com/p/a04a8c7bee98 上一篇文章回顾了强化学习的核心概念，这里继续通过Open AI 的Spinning Up 项目总结强化学习(RL)的算法，通过分类和对比的方法 ...
强化学习 IMPALA算法
： 在这篇论文中，我们致力于解决使用单强化学习智能体和一组参数来解决多任务问题。LMPALA（Importa ...
组合优化学习笔记<之>从贪心算法到子集系统再到拟阵
贪心算法是用的比较多的一种优化算法，因为它过程简洁优美，而且结果有效。有些优化问题如最大权森林（MWF）是可以用贪心问题求解的，由于最小支撑树（MST）问题与MWF是等价的，所以MST也是可以用贪心算法求解。当然，贪心算法不是万能的（对于某些问题贪心算法并不能求得最优解，如旅行商问题（TSP ...