元學習論文解讀


矩陣分解(MF)是最流行的產品推薦技術之一,但眾所周知,它存在嚴重的冷啟動問題。項目冷啟動問題在Tweet推薦等設置中尤其嚴重,因為新項目會不斷到達。本文提出了一種元學習策略來解決新項目連續到達時項目冷啟動的問題。我們提出了兩種深度神經網絡架構來實現我們的元學習策略。第一種結構學習一個線性分類器,其權值由項目歷史確定,而第二種結構學習一個神經網絡,其偏差被調整。我們對Tweet推薦的實際問題進行了評估。在Twitter的生產數據上,我們證明了我們提出的技術大大超過了MF基線,並且在Tweet推薦方面也優於生產模型。

item冷啟動涉及到基於item描述、內容或內在價值的item特定特征。訓練了一個模型,該模型可以參數化地(與查找表相反)推斷該item的embeding向量。然后,可以將這些item embeding向量與用戶embeding向量進行比較,從而向這些用戶推薦新item。

 

然而,在新item不斷產生的情況下,我們假設依賴離線訓練的用戶embeding查表中是次優的。事實上,這種方法無法捕捉在短時間內發生的用戶興趣的實質性變化,這是一種持續產生新item情況下的常見現象。當用戶embeding被周期性地或增量地在線調整時(用戶向量沒法實時更新,隨着新資源的加入),這個問題只得到部分解決。

 

或者,可以通過執行基於內容的篩選[21],在這里,我們將每個新item 與用戶最近評分的其他item進行比較(新資源與用戶已讀資源算相似度,推薦)。然而,純基於內容的過濾方法不允許我們在用戶之間共享和傳輸信息。相反,我們希望使用類似於使用用戶的項目歷史記錄進行內容篩選的方法,但是通過在用戶之間的推薦任務之間的某種形式的傳輸學習,在用戶之間共享信息。換言之,我們希望學習一個通用過程,該過程從任何用戶的歷史記錄中獲取一組item作為輸入,並生成一個可應用於新test item 的評分函數,來表示該用戶喜歡該item的概率。(使用用戶點展的老資源訓練,並且可以預測新資源)

 

在這種模式下,推薦問題相當於元學習問題[28],其目標是學習一個學習算法,該算法可以將一組(少量)標記示例(用戶的歷史)作為輸入,並將輸出一個可應用於新item(新項)的模型(評分函數)。在元學習中,訓練是以一種幕式的方式進行的,在這種方式下,訓練集與必須正確標記的測試示例一起呈現。在我們的設置中,一個插曲相當於為一個特定用戶呈現一組歷史項目(和評分),以及必須為該用戶正確評分的測試item

 

元學習的觀點之所以吸引人,有幾個原因。首先,我們不再依賴於MF模型,在MF模型中,評分通常是user和tem embeding 的內積;相反,我們可以探索多種方法來組合user和item信息。其次,它使我們能夠利用深層神經網絡來學習非線性embeding。第三,它指定了一種跨用戶執行傳輸學習的有效方法(通過共享參數),從而使我們能夠處理每個用戶有限的數據量。

 

設計元學習算法的一個關鍵部分是如何為不同的任務生成模型。在這項工作中,我們提出並評估了兩種基於任務的模型調節策略。第一種稱為線性權值自適應,是一種基於任務信息建立線性分類器並對分類器weight進行自適應的輕量級方法。第二種稱為非線性偏差自適應,它建立了一個神經網絡分類器,該分類器使用任務信息來適應神經網絡的bias,同時在所有任務之間共享weight。

 

因此,我們的貢獻是:(1)因此,我們的貢獻是:(1)MF擴展的局限性,我們為item 冷啟動設置引入了一種新的混合推薦方法;(2)我們引入了推薦問題的元學習公式,並闡述了為什么元學習觀點在該設置中是合理的;(3)我們提出了兩個在這個推薦環境中,元學習的關鍵架構;(4)我們在生產Twitter數據集上評估我們的技術,並證明它們優於基於查找表嵌入和最新工業模型的方法.

we view the problem of making predictions for one user as an individual task or episode

 

Let Tj be the set of items to which a user uj has been exposed (e.g. Tweets recommended to uj).We represent each user in terms of their item history。

用用戶點擊歷史表示用戶,

user uj is represented by their item history Vj =f(tm; emj)g : tm 2 Tj. Note that we limit item history to only those items that were seen before ti

只使用ti之前見過的樣本

 

 

用ti之前的歷史樣本 vj 學習H(vj)


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM