最近的看的一些內容好多涉及到凸優化，沒時間系統看了，簡單的了解一下，凸優化的兩個基本元素分別是凸函數與凸包 凸集 凸集定義如下： 也就是說在凸集內任取兩點，其連線上的所有點仍在凸集之內。 凸函數 凸函數的定義如下： $\theta x+(1-\theta)y$的意思就是說 ...

　　近年來，許多有效的在線學習算法的設計受到凸優化工具的影響。 此外，據觀察，大多數先前提出的有效算法可以基於以下優雅模型聯合分析： 　　 　　凸集的定義： 　　 　　一個向量 的Regret定義為： 　　 　　如前所述，算法相對於競爭向量的集合U的Regret被定義 ...

　　一些在線預測問題可以轉化到在線凸優化框架中。下面介紹兩種凸化技術： 　　一些在線預測問題似乎不適合在線凸優化框架。例如，在線分類問題中，預測域（predictions domain）或損失函數不是凸的。我們描述了兩種凸化技術，它們允許我們在其他場景中使用在線凸優化框架 ...

CMU凸優化筆記--凸集和凸函數 結束了一段時間的學習任務，於是打算做個總結。主要內容都是基於CMU的Ryan Tibshirani開設的Convex Optimization課程做的筆記。這里只摘了部分內容做了筆記，很感謝Ryan Tibshirani在官網中所作的課程內容開源。也很感謝韓龍飛 ...

　　最自然的學習規則是使用任何在過去回合中損失最小的向量。 這與Consistent算法的精神相同，它在在線凸優化中通常被稱為Follow-The-Leader，最小化累積損失。 　　對於任何t: 　　　　　　　　　　　 　　 　　我們談到了能最小化累計損失不能說明此算法在在線學習場景 ...

開啟一個在線學習和在線凸優化框架專題學習： 1.首先介紹在線學習的相關概念 在線學習是在一系列連續的回合（rounds）中進行的； 在回合,學習機（learner）被給一個question：(一個向量，即為特征向量),為從instance domain：采樣得到的。學習機給出一個預測值 ...

緊接上文，我們講述在線分類問題 令，為0-1損失，我們做出如下的簡化假設： 學習者的目標是相對於hypotheses set: H具有low regret，其中H中的每個函數是從到{0,1} ...

I. 仿射凸集(Affine and convex sets) 1. 線與線段 假設\(R^n\)空間內兩點\(x_1,x_2\, (x_1≠x_2)\),那么\(y=\theta x_1+(1-\theta)x_2, \theta∈R\)表示從x1到x2的線。而當\(0≤\theta ...