Abstract
推薦系統可以看作用戶和物品的匹配問題,不過user以及item兩者的語義空間差異太大,直接匹配不太符合實際。主流的改進CF的方法有兩類:基於表示學習的CF方法以及基於函數學習的表示方法。基於表示學習的CF模型將user和item轉換到一個共通的語義空間來匹配。基於函數學習的CF嘗試直接學習一個復雜的函數來對user和item進行匹配。
Introduction
DMF(Deep Matrix Factorization)用兩個神經網絡結構來替代線性的朴素MF中的embedding過程將user和item映射到一個共同的較低的語義空間。然而再評分預測問題上,MF方法依舊需要使用點積操作把latent factor線性的組合起來,對模型的表達是一種限制。NeuMF建立於(NCF模型)將user以及item的embedding作為MLP的輸入,使用MLP來替代傳統CF中的點積操作。MLP is very inefficient in catching low-rank relations,如果單純的使用MLP來對評分進行預測,網絡的學習會變得困難,這也是為什么NeuCF模型需要CF的結構來結合MLP學習。NeuCF的結構圖如下所示:
GMF部分是MF的擴展,用一層網絡結構來學習user以及item的線性關系,MLP部分學習的是user以及item的非線性關系部分,兩者結合能夠有一個更好的效果。
DeeCF將基於表示的CF以及基於函數學習的CF結合起來。DeepCF主要的貢獻如下:
(1)提出了一個結合表示學習和函數學習的DeepCF框架
(2)在DeepCF的框架下提出了基於朴素MLP的CFNet
(3)通過在實際生活中的大量實驗驗證了CFNet的有效性
Related Work
(1)隱式反饋數據集上的CF模型。基本假設,用戶對其產生過行為我物品偏好值大於沒有產生過行為的物品。
(2)基於表示學習的CF模型。這些模型的主要想法仍然是將用戶和項目映射到一個可以直接比較的公共表示空間。基於表示的學習可以融合不同的數據源(比如一些輔助的文本信息,視頻數據),但是基於表示的學習避免不了在評分預測問題上的點積操作。
(3)基於匹配函數的CF模型。NeuCF是一個代表,NeuCF使用MF來彌補MLP表示低緯聯系的能力(簡單理解為線性的表示)。基於匹配函數的CF模型需要關注的是the ability to learn low-rank relations
Preliminaries
(1)問題描述:我們用$Y\in \Re^{m{\times}n}$表示user-item的交互矩陣,當$y_{ui}=1$的時候表示用戶$u$對物品$i$有過行為;當$y_{ui}=0$的時候表示用戶$u$對物品$i$沒有有過行為。隱式反饋主要的問題在於當$y_{ui}=1$我們不知道用戶對該物品有多喜歡,當$y_{ui}=0$我們也不確定用戶喜歡該物品且$y_{ui}=0$的情況巨多。論文采用負采樣技術從未觀測數據($y_{ui}=0$)中獲取負樣本。對於顯性反饋上的推薦我們可以轉換為計算交互矩陣的缺失值問題可以轉換為評分預測問題。隱性數據的離散化以及二值性使得其不能使用直接效仿顯性反饋上的推薦問題解決方法。為了解決這個問題,文章假設$y_{ui}$服從伯努利分布:
$p_{ui}$表示$y_{ui}$等於1的概率。這樣處理交互矩陣Y,我們邊可以將隱性數據的推薦問題轉化為概率預測問題。
(2)模型的學習:根據(1)中的問題假設,用$\hat{y}_{ui}$來替換$p_{ui}$,則Y對應的似然函數如下:
其中$y^+$對應有觀測的數據,$y^-$對應未觀測數據。MLE處理之后得到的損失函數如下所示:
The Proposed Framework
基於表示學習的CF以及匹配函數學習的方法概念圖如下所示:
表示學習部分:DeepCF使用MLP作為表示函數,流程如下:
$W_x,b_x,a_x$對應的是矩陣權重,偏置向量以及第x層網絡的激活值(激活函數為ReLU)。上述部分成為CFNet-rl
匹配函數學習:基於匹配函數學習的CF模型希望item以及user的特征向量是低維的特征向量,高維度的向量對於不易於匹配函數的學習,這也是這類方法采用linear embedding layer獲取latent representations的主要原因。文章使用MLP來學習特征匹配函數。流程如下所示:
這里$P,Q$是linear embedding layers的參數矩陣。上述部分成為CFNet-ml
Fusion and Learning
DeepCF主要結構如下所示:
后記:補充一下兩種評估方法:NDCG,Hit Ratio(HR)
Hit Ratio(HR)
在top-K推薦中,HR是一種常用的衡量召回率的指標,其計算公式如下:
Normalized Discounted Cummulative Gain(NDCG)


NDCG解釋來源於: http://sofasofa.io/forum_main_post.php?postid=1002561