在線最優化求解(Online Optimization)之五：FTRL 在上一篇博文中中我們從原理上定性比較了L1-FOBOS和L1-RDA在稀疏性上的表現。有實驗證明，L1-FOBOS這一類基於梯度下降的方法有比較高的精度，但是L1-RDA卻能在損失一定精度的情況下產生更好的稀疏性 ...

　　近年來，許多有效的在線學習算法的設計受到凸優化工具的影響。 此外，據觀察，大多數先前提出的有效算法可以基於以下優雅模型聯合分析： 　　 　　凸集的定義： 　　 　　一個向量 的Regret定義為： 　　 　　如前所述，算法相對於競爭向量的集合U的Regret被定義 ...

緊接上文，我們講述在線分類問題 令，為0-1損失，我們做出如下的簡化假設： 學習者的目標是相對於hypotheses set: H具有low regret，其中H中的每個函數是從到{0,1}的映射，並且regret被定義為: 我們首先證明這是一個不可能完成的任務 ...

　　一些在線預測問題可以轉化到在線凸優化框架中。下面介紹兩種凸化技術： 　　一些在線預測問題似乎不適合在線凸優化框架。例如，在線分類問題中，預測域（predictions domain）或損失函數不是凸的。我們描述了兩種凸化技術，它們允許我們在其他場景中使用在線凸優化框架 ...

　　最自然的學習規則是使用任何在過去回合中損失最小的向量。 這與Consistent算法的精神相同，它在在線凸優化中通常被稱為Follow-The-Leader，最小化累積損失。 　　對於任何t: 　　　　　　　　　　　 　　 　　我們談到了能最小化累計損失不能說明此算法在在線學習場景 ...

開啟一個在線學習和在線凸優化框架專題學習： 1.首先介紹在線學習的相關概念 在線學習是在一系列連續的回合（rounds）中進行的； 在回合,學習機（learner）被給一個question：(一個向量，即為特征向量),為從instance domain：采樣得到的。學習機給出一個預測值 ...

KT點的求解 　　滿足K-T條件的點即為K-T點 　　K-T條件 　　 　　求解方法是根據k-t條件列出方程組，然后通過討論λ是否為0去求解方程組 　　其中的(λ1,λ2,λ3,,,,,λn)稱為乘子 ...

求解帶約束的最優化問題詳解 ...