一些在線預測問題可以轉化到在線凸優化框架中。下面介紹兩種凸化技術:
一些在線預測問題似乎不適合在線凸優化框架。例如,在線分類問題中,預測域(predictions domain)或損失函數不是凸的。我們描述了兩種凸化技術,它們允許我們在其他場景中使用在線凸優化框架。
1.Convexification by Randomization
為了演示randomization技術,我們考慮一個專家建議的預測問題:每個在線回合中,學習者必須從d位給定專家的建議中進行選擇。
表示選到的專家,然后學習機收到一個向量
,其中
表示聽從第
個專家的建議所遭受的損失,學習機需要支付的損失為
。在這種情況下,decision space是離散的,因此非凸。
有限假設類(finite hypothesis class)的在線分類問題可以很容易地作為具有專家建議問題的預測的特例。 因此,Cover’s impossibility result意味着沒有算法可以通過專家建議問題獲得預測的low Regret。
然而,正如我們在下面所示,通過允許學習者隨機化他的預測,我們可以將問題轉化為在線凸優化框架,因此可以獲得針對該問題的low Regret算法。令
是probability simplex,S是一個凸集。
在第 t回合,學習者選擇
,並且基於
根據
隨機抽取一個專家,學習機支付期望損失:

現在,我們將問題轉化成了在線凸優化。
2.Convexification by Surrogate Loss Functions
為了解釋第二種凸化技術,我們再次從有限假設類的在線分類具體問題開始。 回想一下,我們用來回避 Cover’s impossibility result的技術之一依賴於可實現性假設(realizability assumption)。我們假設存在
使得對於所有的t有
。有了這個假設,我們描述了Halving算法並且表明它最多
個預測錯誤。我們現在使用在線凸優化語言得出類似的保證:


S是一個凸集,
對於所有t是一個凸函數,我們轉化得到一個在線凸優化問題。
接下來的部分中,我們將推導出在線凸優化問題的算法。 特別是,這些算法之一具有如下的regret bound:

其中,
是一個參數,在這里設置為1/4,
是函數
關於L1范數的Lipschitz參數。在我們的案例中,
,因此:

通過
的 surrogate property,我們獲得:

這種類型的界限,其中錯誤的數量受到 competing hypothesis的convex surrogate loss的上限,通常被稱為relative loss bound。
在realizable的情況下,我們可以進一步簡化 relative loss bound如下。 由於bound適用於所有u∈S,因此它特別適用於向量u=(0,...,0,1,0,...,0),其中1位於對應於 true hypothesis
的位置。
通過我們的構造,對於所有t,
,產生:

未完,待續。。。。。。
下一節分析FTL算法
