近年來，許多有效的在線學習算法的設計受到凸優化工具的影響。 此外，據觀察，大多數先前提出的有效算法可以基於以下優雅模型聯合分析： 　　 　　凸集的定義： 　　 　　一個向量 的Regret定義為： 　　 　　如前所述，算法相對於競爭向量的集合U的Regret被定義 ...

　　一些在線預測問題可以轉化到在線凸優化框架中。下面介紹兩種凸化技術： 　　一些在線預測問題似乎不適合在線凸優化框架。例如，在線分類問題中，預測域（predictions domain）或損失函數不是凸的。我們描述了兩種凸化技術，它們允許我們在其他場景中使用在線凸優化框架 ...

緊接上文，我們講述在線分類問題 令，為0-1損失，我們做出如下的簡化假設： 學習者的目標是相對於hypotheses set: H具有low regret，其中H中的每個函數是從到{0,1}的映射，並且regret被定義為: 我們首先證明這是一個不可能完成的任務 ...

開啟一個在線學習和在線凸優化框架專題學習： 1.首先介紹在線學習的相關概念 在線學習是在一系列連續的回合（rounds）中進行的； 在回合,學習機（learner）被給一個question：(一個向量，即為特征向量),為從instance domain：采樣得到的。學習機給出一個預測值 ...

在線最優化求解(Online Optimization)之五：FTRL 在上一篇博文中中我們從原理上定性比較了L1-FOBOS和L1-RDA在稀疏性上的表現。有實驗證明，L1-FOBOS這一類基於梯度下降的方法有比較高的精度，但是L1-RDA卻能在損失一定精度的情況下產生更好的稀疏性 ...

在線最優化求解(Online Optimization)之三：FOBOS FOBOS (Forward-Backward Splitting)是由John Duchi和Yoram Singer提出的[11]。從全稱上來看，該方法應該叫FOBAS，但是由於一開始作者管這種方法叫FOLOS ...

本博客已經遷往http://www.kemaswill.com/, 博客園這邊也會繼續更新, 歡迎關注~ 在機器學習中, 很多情況下我們都需要求得一個 問題的全局最優值(global optimum). 大多數的全局最優值很難求得, 但是對於凸問題, 我們可以比較高效的找到其全局最優值, 這是 ...

最近的看的一些內容好多涉及到凸優化，沒時間系統看了，簡單的了解一下，凸優化的兩個基本元素分別是凸函數與凸包 凸集 凸集定義如下： 也就是說在凸集內任取兩點，其連線上的所有點仍在凸集之內。 凸函數 凸函數的定義如下： $\theta x+(1-\theta)y$的意思就是說 ...