在線學習和在線凸優化（online learning and online convex optimization）—在線凸優化框架3
為： 備注： 在線凸優化問題中，學習機的預測應該來自集合S，而我們分析關於集合U的Regret。當我 ...
原文：在線學習和在線凸優化（online learning and online convex optimization）—在線分類問題2
緊接上文，我們講述在線分類問題 令，為 損失，我們做出如下的簡化假設： 學習者的目標是相對於hypotheses set: H具有low regret，其中H中的每個函數是從到 , 的映射，並且regret被定義為: 我們首先證明這是一個不可能完成的任務 如果，沒有算法可以獲得次線性regret bound。考慮，是一個總是返 的函數，是一個總是返 的函數。通過簡單地等待學習者的預測然后提供相反的 ...
2018-08-31 15:05 0 1148 推薦指數：
相關推薦
在線學習和在線凸優化（online learning and online convex optimization）—凸化方法4
一些在線預測問題可以轉化到在線凸優化框架中。下面介紹兩種凸化技術： 一些在線預測問題似乎不適合在線凸優化框架。例如，在線分類問題中，預測域（predictions domain）或損失函數不是凸的。我們描述了兩種凸化技術，它們允許我們在其他場景中使用在線凸優化框架 ...
在線學習和在線凸優化（online learning and online convex optimization）—FTL算法5
最自然的學習規則是使用任何在過去回合中損失最小的向量。 這與Consistent算法的精神相同，它在在線凸優化中通常被稱為Follow-The-Leader，最小化累積損失。 對於任何t: 我們談到了能最小化累計損失不能說明此算法在在線學習場景 ...
在線學習和在線凸優化（online learning and online convex optimization）—基礎介紹1
開啟一個在線學習和在線凸優化框架專題學習： 1.首先介紹在線學習的相關概念 在線學習是在一系列連續的回合（rounds）中進行的； 在回合,學習機（learner）被給一個question：(一個向量，即為特征向量),為從instance domain：采樣得到的。學習機給出一個預測值 ...
在線最優化求解(Online Optimization)之五：FTRL
在線最優化求解(Online Optimization)之五：FTRL 在上一篇博文中中我們從原理上定性比較了L1-FOBOS和L1-RDA在稀疏性上的表現。有實驗證明，L1-FOBOS這一類基於梯度下降的方法有比較高的精度，但是L1-RDA卻能在損失一定精度的情況下產生更好的稀疏性 ...
在線最優化求解(Online Optimization)之三：FOBOS
在線最優化求解(Online Optimization)之三：FOBOS FOBOS (Forward-Backward Splitting)是由John Duchi和Yoram Singer提出的[11]。從全稱上來看，該方法應該叫FOBAS，但是由於一開始作者管這種方法叫FOLOS ...
凸優化(Convex Optimization)淺析
本博客已經遷往http://www.kemaswill.com/, 博客園這邊也會繼續更新, 歡迎關注~ 在機器學習中, 很多情況下我們都需要求得一個 問題的全局最優值(global optimum). 大多數的全局最優值很難求得, 但是對於凸問題, 我們可以比較高效的找到其全局最優值, 這是 ...
編程--在線提交系統（Online Judge）
編程--在線提交系統（Online Judge） 浙江大學 Online Judge（ZOJ）http://acm.zju.edu.cn國內最早也是最有名氣的OJ，有很多高手在上面做題。特點是數據比較刁鑽，經常會有你想不到的邊界數據，很能考驗思維的全面性。 北京大學 ...