在線學習和在線凸優化(online learning and online convex optimization)—凸化方法4


  一些在線預測問題可以轉化到在線凸優化框架中。下面介紹兩種凸化技術:

  一些在線預測問題似乎不適合在線凸優化框架。例如,在線分類問題中,預測域(predictions domain)或損失函數不是凸的。我們描述了兩種凸化技術,它們允許我們在其他場景中使用在線凸優化框架。

  1.Convexification by Randomization

  為了演示randomization技術,我們考慮一個專家建議的預測問題:每個在線回合中,學習者必須從d位給定專家的建議中進行選擇。

  表示選到的專家,然后學習機收到一個向量,其中表示聽從第個專家的建議所遭受的損失,學習機需要支付的損失為。在這種情況下,decision space是離散的,因此非凸。

  有限假設類(finite hypothesis class)的在線分類問題可以很容易地作為具有專家建議問題的預測的特例。 因此,Cover’s impossibility result意味着沒有算法可以通過專家建議問題獲得預測的low Regret。

  然而,正如我們在下面所示,通過允許學習者隨機化他的預測,我們可以將問題轉化為在線凸優化框架,因此可以獲得針對該問題的low Regret算法。令是probability simplex,S是一個凸集。  

  在第 t回合,學習者選擇,並且基於根據隨機抽取一個專家,學習機支付期望損失:

  

  現在,我們將問題轉化成了在線凸優化。

  2.Convexification by Surrogate Loss Functions

  為了解釋第二種凸化技術,我們再次從有限假設類的在線分類具體問題開始。 回想一下,我們用來回避 Cover’s impossibility result的技術之一依賴於可實現性假設(realizability assumption)。我們假設存在使得對於所有的t有。有了這個假設,我們描述了Halving算法並且表明它最多個預測錯誤。我們現在使用在線凸優化語言得出類似的保證:

  

  

  S是一個凸集,對於所有t是一個凸函數,我們轉化得到一個在線凸優化問題。

  接下來的部分中,我們將推導出在線凸優化問題的算法。 特別是,這些算法之一具有如下的regret bound:

  

  其中,是一個參數,在這里設置為1/4,是函數關於L1范數的Lipschitz參數。在我們的案例中,,因此:

  

  通過的 surrogate property,我們獲得:

  

  這種類型的界限,其中錯誤的數量受到 competing hypothesis的convex surrogate loss的上限,通常被稱為relative loss bound。

  在realizable的情況下,我們可以進一步簡化 relative loss bound如下。 由於bound適用於所有u∈S,因此它特別適用於向量u=(0,...,0,1,0,...,0),其中1位於對應於 true hypothesis 的位置。

   通過我們的構造,對於所有t,,產生:

  

  

  未完,待續。。。。。。

  下一節分析FTL算法

  

 

 

 

 

 

 

 

 

  

 

  

 

  


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM