在线最优化求解(Online Optimization)之三：FOBOS FOBOS (Forward-Backward Splitting)是由John Duchi和Yoram Singer提出的[11]。从全称上来看，该方法应该叫FOBAS，但是由于一开始作者管这种方法叫FOLOS ...

1. 背景介绍 最优化求解问题可能是我们在工作中遇到的最多的一类问题了：从已有的数据中提炼出最适合的模型参数，从而对未知的数据进行预测。当我们面对高维高数据量的场景时，常见的批量处理的方式已经显得力不从心，需要有在线处理的方法来解决此类问题。 在CTR预估中，经常会用到经典的逻辑回归 ...

　　近年来，许多有效的在线学习算法的设计受到凸优化工具的影响。 此外，据观察，大多数先前提出的有效算法可以基于以下优雅模型联合分析： 　　 　　凸集的定义： 　　 　　一个向量 的Regret定义为： 　　 　　如前所述，算法相对于竞争向量的集合U的Regret被定义 ...

紧接上文，我们讲述在线分类问题 令，为0-1损失，我们做出如下的简化假设： 学习者的目标是相对于hypotheses set: H具有low regret，其中H中的每个函数是从到{0,1}的映射，并且regret被定义为: 我们首先证明这是一个不可能完成的任务 ...

　　最自然的学习规则是使用任何在过去回合中损失最小的向量。 这与Consistent算法的精神相同，它在在线凸优化中通常被称为Follow-The-Leader，最小化累积损失。 　　对于任何t: 　　　　　　　　　　　 　　 　　我们谈到了能最小化累计损失不能说明此算法在在线学习场景 ...

开启一个在线学习和在线凸优化框架专题学习： 1.首先介绍在线学习的相关概念 在线学习是在一系列连续的回合（rounds）中进行的； 在回合,学习机（learner）被给一个question：(一个向量，即为特征向量),为从instance domain：采样得到的。学习机给出一个预测值 ...

　　一些在线预测问题可以转化到在线凸优化框架中。下面介绍两种凸化技术： 　　一些在线预测问题似乎不适合在线凸优化框架。例如，在线分类问题中，预测域（predictions domain）或损失函数不是凸的。我们描述了两种凸化技术，它们允许我们在其他场景中使用在线凸优化框架 ...

在线学习想要解决的问题 在线学习 ( \(\it{Online \;Learning}\) ) 代表了一系列机器学习算法，特点是每来一个样本就能训练，能够根据线上反馈数据，实时快速地进行模型调整，使得模型及时反映线上的变化，提高线上预测的准确率。相比之下，传统的批处理方式需要一次性收集所有 ...