在线学习和在线凸优化（online learning and online convex optimization）—在线凸优化框架3
近年来，许多有效的在线学习算法的设计受到凸优化工具的影响。 此外，据观察，大多数先前提出的有效算法可以基于以下优雅模型联合分析： 凸集的定义： 一个向量 的Regret定义为： 如前所述，算法相对于竞争向量的集合U的Regret被定义 ...
原文：在线学习和在线凸优化（online learning and online convex optimization）—基础介绍1
开启一个在线学习和在线凸优化框架专题学习： .首先介绍在线学习的相关概念 在线学习是在一系列连续的回合 rounds 中进行的 在回合,学习机 learner 被给一个question： 一个向量，即为特征向量 ,为从instance domain：采样得到的。学习机给出一个预测值：，然后得到正确的答案：，从target domain：采样得到，定义损失函数为。在大多数情况下，在中，但是，允许学习 ...
2018-08-31 14:59 0 2250 推荐指数：
相关推荐
在线学习和在线凸优化（online learning and online convex optimization）—凸化方法4
一些在线预测问题可以转化到在线凸优化框架中。下面介绍两种凸化技术： 一些在线预测问题似乎不适合在线凸优化框架。例如，在线分类问题中，预测域（predictions domain）或损失函数不是凸的。我们描述了两种凸化技术，它们允许我们在其他场景中使用在线凸优化框架 ...
在线学习和在线凸优化（online learning and online convex optimization）—在线分类问题2
紧接上文，我们讲述在线分类问题 令，为0-1损失，我们做出如下的简化假设： 学习者的目标是相对于hypotheses set: H具有low regret，其中H中的每个函数是从到{0,1}的映射，并且regret被定义为: 我们首先证明这是一个不可能完成的任务 ...
在线学习和在线凸优化（online learning and online convex optimization）—FTL算法5
最自然的学习规则是使用任何在过去回合中损失最小的向量。 这与Consistent算法的精神相同，它在在线凸优化中通常被称为Follow-The-Leader，最小化累积损失。 对于任何t: 我们谈到了能最小化累计损失不能说明此算法在在线学习场景 ...
在线最优化求解(Online Optimization)之五：FTRL
在线最优化求解(Online Optimization)之五：FTRL 在上一篇博文中中我们从原理上定性比较了L1-FOBOS和L1-RDA在稀疏性上的表现。有实验证明，L1-FOBOS这一类基于梯度下降的方法有比较高的精度，但是L1-RDA却能在损失一定精度的情况下产生更好的稀疏性 ...
在线最优化求解(Online Optimization)之三：FOBOS
在线最优化求解(Online Optimization)之三：FOBOS FOBOS (Forward-Backward Splitting)是由John Duchi和Yoram Singer提出的[11]。从全称上来看，该方法应该叫FOBAS，但是由于一开始作者管这种方法叫FOLOS ...
凸优化(Convex Optimization)浅析
由凸问题的性质决定的.我们将逐步的介绍凸集, 凸函数, 凸问题等. 1. 凸集(convex set) ...
凸优化简介 Convex Optimization Overview
最近的看的一些内容好多涉及到凸优化，没时间系统看了，简单的了解一下，凸优化的两个基本元素分别是凸函数与凸包 凸集 凸集定义如下： 也就是说在凸集内任取两点，其连线上的所有点仍在凸集之内。 凸函数 凸函数的定义如下： $\theta x+(1-\theta)y$的意思就是说 ...