深度学习优化器 深度学习中的优化器均采用了梯度下降的方式进行优化，所谓炼丹我觉得优化器可以当作灶，它控制着火量的大小、形式与时间等。 ♠ 初级的优化器 首先我们来一下看最初级的灶台（100 - ...

MM算法思想 MM算法是一种迭代优化方法，它利用函数的凸性来找到原函数的最大值或最小值。当原目标函数\(f(\theta)\)较难优化时，算法不直接对原目标函数求最优解，而去求解逼近于原目标函数的一 ...

1. 概述 \(\quad\)那么开始第二期，介绍凸锥和常见的集合，这期比较短(因为公式打得太累了)，介绍凸集和凸锥与仿射集的意义在哪呢，为的就是将很多非凸集合转化为凸集的手段，其中，又以凸包（包裹 ...

1. 概述 \(\quad\)之前简单介绍了凸函数的定义，相信大家对凸函数有了简单的认识，但是这是远远不够的，这次通过一些详细的函数讲解来介绍一下部分常见凸函数的特点。 2. 凸函数的四个定义： ...

梯度下降法是沿着梯度下降的算法，该算法的收敛速度受梯度大小影响非常大，当梯度小时算法收敛速度非常慢。 牛顿法是通过把目标函数做二阶泰勒展开，通过求解这个近似方程来得到迭代公式，牛顿法的迭代公式中用到 ...

1. 概述 \(\quad\)之前介绍了凸集相关的定义与部分性质，其实不是特别完全，因为单单的几篇博客是无法把凸集这一块完全讲全的，所以凸集变换这里也只讲几个稍微重要的变换。来捋一下学习的脉络吧，凸 ...

1. 概述 从这里开始，为了复习所学知识，也是为了更加深刻地探讨优化理论中的相关知识，所以将凸优化中的基础概念做一个整理，然后形成一个凸优化系列随笔。本系列将涉及部分数学推导，强调理论性，所以按需阅 ...