在线最优化求解(Online Optimization)之五：FTRL 在上一篇博文中中我们从原理上定性比较了L1-FOBOS和L1-RDA在稀疏性上的表现。有实验证明，L1-FOBOS这一类基于梯度下降的方法有比较高的精度，但是L1-RDA却能在损失一定精度的情况下产生更好的稀疏性 ...

　　近年来，许多有效的在线学习算法的设计受到凸优化工具的影响。 此外，据观察，大多数先前提出的有效算法可以基于以下优雅模型联合分析： 　　 　　凸集的定义： 　　 　　一个向量 的Regret定义为： 　　 　　如前所述，算法相对于竞争向量的集合U的Regret被定义 ...

紧接上文，我们讲述在线分类问题 令，为0-1损失，我们做出如下的简化假设： 学习者的目标是相对于hypotheses set: H具有low regret，其中H中的每个函数是从到{0,1}的映射，并且regret被定义为: 我们首先证明这是一个不可能完成的任务 ...

　　一些在线预测问题可以转化到在线凸优化框架中。下面介绍两种凸化技术： 　　一些在线预测问题似乎不适合在线凸优化框架。例如，在线分类问题中，预测域（predictions domain）或损失函数不是凸的。我们描述了两种凸化技术，它们允许我们在其他场景中使用在线凸优化框架 ...

　　最自然的学习规则是使用任何在过去回合中损失最小的向量。 这与Consistent算法的精神相同，它在在线凸优化中通常被称为Follow-The-Leader，最小化累积损失。 　　对于任何t: 　　　　　　　　　　　 　　 　　我们谈到了能最小化累计损失不能说明此算法在在线学习场景 ...

开启一个在线学习和在线凸优化框架专题学习： 1.首先介绍在线学习的相关概念 在线学习是在一系列连续的回合（rounds）中进行的； 在回合,学习机（learner）被给一个question：(一个向量，即为特征向量),为从instance domain：采样得到的。学习机给出一个预测值 ...

KT点的求解 　　满足K-T条件的点即为K-T点 　　K-T条件 　　 　　求解方法是根据k-t条件列出方程组，然后通过讨论λ是否为0去求解方程组 　　其中的(λ1,λ2,λ3,,,,,λn)称为乘子 ...

求解带约束的最优化问题详解 ...