SR-GNN_Session-based Recommendation with Graph Neural Networks

pdf:Session-based Recommendation with Graph Neural Networks(SR-GNN)

參考博客:https://sxkdz.github.io/research/SR-GNN/

摘要

基於會話的推薦問題旨在預測基於匿名會話的用戶操作。先前的方法將會話建模為序列，並估計項目表示以外的用戶表示，以提出建議。盡管取得了可喜的結果，但它們不足以在會話中獲得准確的用戶向量，而忽略了項目的復雜轉換。為了獲得准確的項目嵌入並考慮到項目的復雜過渡，我們提出了一種新穎的方法，即基於會話的Graph Neural Networks，SR-GNN的推薦。在提出的方法中，會話序列被建模為圖結構數據。基於會話圖，GNN可以捕獲項目的復雜轉換，這是以前的常規順序方法難以揭示的。然后，使用注意力網絡將每個會話表示為該會話的全局偏好和當前興趣的組成。在兩個真實數據集上進行的大量實驗表明，SR-GNN明顯優於基於會話的最新推薦方法。

RNN不足：

• 不能夠得到用戶的精確表示
• 忽略了條目之間的轉移關系

1 介紹

        隨着Internet上信息量的快速增長，推薦系統成為幫助用戶減輕信息過載問題並在許多Web應用程序（例如搜索，電子商務和媒體流站點）中選擇有趣信息的基礎。 現有的大多數推薦系統都假定不斷記錄用戶個人資料和過去的活動。 但是，在許多服務中，用戶標識可能是未知的，並且只有正在進行的會話期間的用戶行為歷史可用。因此，在一個會話中對受限行為進行建模並相應地生成推薦非常重要。相反，在這種情況下，依靠足夠的用戶項交互作用的常規建議方法在產生准確結果方面存在問題。

          由於具有很高的實用價值，因此可以觀察到對此問題的研究日益增多，並且針對基於會話的推薦提出了許多建議。根據馬爾可夫鏈，一些工作（Shani，Brafman和Heckerman 2002； Rendle，Freudenthaler和Schmidt-Thieme 2010）根據用戶的前一個行為預測用戶的下一個行為。假設有很強的獨立性，過去組件的獨立組合會限制預測精度。

          近年來，大多數研究（Hidasi等。 2016年； Tan，Xu和Liu 2016; Tuan和Phuong 2017; Li等。 2017a）將遞歸神經網絡（RNN）應用於基於會話的推薦系統並獲得有希望的結果。這項工作（Hidasi等人，2016a）首先提出了遞歸神經網絡方法，然后通過數據擴充和考慮用戶行為的時間變化來增強該模型（Tan，Xu和Liu，2016）。最近，NARM（Li等，2017a）設計了一個全局和本地RNN推薦器，以同時捕獲用戶的順序行為和主要目的。與NARM，STAMP類似（Liu等。 2018）還通過使用簡單的MLP網絡和細心的網絡來捕獲用戶的總體興趣和興趣。

          盡管上述方法取得了令人滿意的結果並成為最新技術，但它們仍然有一些局限性。首先，在沒有足夠的用戶行為的情況下，這些方法難以估計用戶代表。通常，這些RNN方法的隱藏向量被視為用戶表示，因此可以基於這些表示（例如NARM的全球推薦者）生成建議。然而，在基於會話的推薦系統中，會話大多是匿名的，並且會話眾多，並且與會話點擊相關的用戶行為通常受到限制。因此，難以從每個會話中准確地估計每個用戶的表示。其次，先前的工作表明，項目過渡的模式很重要，可以用作基於會話的推薦中的本地因素（Li等人2017a; Liu等人2018），但是這些方法始終為單向過渡建模在連續項目之間切換，而忽略上下文之間的過渡，即會話中的其他項目。因此，這些方法忽略了十個遙遠項之間的復雜過渡。

        為克服上述限制，我們提出了一種新穎的方法，用於基於會話的圖神經網絡推薦，SR-GNN簡潔，可以顯示項目之間的豐富過渡，並生成項目的准確潛在向量。圖神經網絡（GNN）（Scarselli et al.2009; Li et al.2015）設計用於生成圖的表示。最近，它被廣泛用於為自然語言處理和計算機視覺應用蓬勃發展的圖形結構相關性建模，例如腳本事件預測（Li，Ding和Liu 2018），情況識別（Li等人2017b）。 ，以及圖片分類（Marino，Salakhutdinov和Gupta 2017）。對於基於會話的推薦，我們首先從歷史會話序列中構造直接圖。基於會話圖，GNN能夠捕獲項目的過渡並相應地生成准確的項目嵌入向量，而傳統的順序方法（如基於MC和基於RNN的方法）很難揭示這些內容。基於准確的項目嵌入向量，所提出的SR-GNN構造了更可靠的會話表示，並且可以推斷出下次點擊的項目。

        圖1說明了所建議的SR GNN方法的工作流程。首先，將所有會話序列建模為有向會話圖，其中每個會話序列都可以視為子圖。然后，依次對每個會話圖進行處理，並可以通過門控圖神經網絡獲得每個圖所涉及的所有節點的潛在向量。之后，我們將每個會話表示為該會話中全局優先級和用戶當前興趣的組合，其中這些全局和本地會話嵌入向量都由節點的潛在向量組成。最后，對於每個會話，我們預測每個項目的概率為下一次單擊。在現實世界中具有代表性的數據集上進行的大量實驗證明了該方法在最新技術方面的有效性。這項工作的主要貢獻概括如下：

•我們將分離的會話序列建模為圖結構化數據，並使用圖神經網絡捕獲復雜的項轉換。據我們所知，它為基於會話的推薦場景中的建模提出了一種新穎的觀點。

•要生成基於會話的建議，我們不依賴於用戶表示，而是使用會話嵌入，僅可基於每個單個會話中涉及的潛在項目矢量來獲得會話嵌入。

•在現實世界的數據集上進行的廣泛實驗表明，SR-GNN明顯優於最新方法。

        為了使我們的結果完全可重復，所有相關源代碼已在https://github.com/CRIPAC-DIG/SR-GNN上公開。

        本文的其余部分安排如下。我們在第2節中回顧了先前的相關文獻。第3節介紹了使用圖神經網絡的基於會話的推薦方法。詳細的實驗結果和分析顯示在第4節中。最后，在第5節中總結本文。

2 相關工作

        在本節中，我們回顧基於會話的推薦系統的一些相關工作，包括常規方法，基於馬爾可夫鏈的順序方法以及基於RNN的方法。然后，我們介紹圖上的神經網絡。

        常規推薦方法。矩陣因子化（Mnih和Salakhutdinov 2007； Koren，Bell和Volinsky 2009； Koren和Bell 2011）是推薦系統的通用方法。基本目標是將用戶-項目評分矩陣簡化為兩個低等級矩陣，每個矩陣代表用戶或項目的潛在因素。 它不太適合基於會話的建議，因為用戶偏好僅由某些肯定的點擊提供。基於項目的鄰域方法（Sar war等人，2001）是一種自然的解決方案，其中項目相似度是基於同一會話中的共現來計算的。 這些方法難以考慮項目的順序，並且僅基於最后的點擊來生成預測。

          然后，提出了基於馬爾可夫鏈的順序方法，該方法根據用戶的前一個行為預測用戶的下一個行為。 Shani，Brafman和Heckerman（2002）將推薦生成視為一個順序優化問題，並采用了馬爾可夫決策過程（MDP）作為解決方案。通過對用戶的個性化概率轉換矩陣進行因子分解，FPMC（Rendle，Freudenthaler和Schmidt-Thieme 2010）對每兩個相鄰點擊之間的順序行為進行建模，並為每個序列提供更准確的預測。但是，基於馬爾可夫鏈的模型的主要缺點是它們獨立地組合了過去的組件。這樣的獨立性假設太強了，因此限制了預測的准確性。

         基於深度學習的方法。最近，一些預測模型，尤其是語言模型（Mikolov等 2013）是基於神經網絡提出的。在眾多語言模型中，遞歸神經網絡（RNN）是建模情感最成功的模型（Mikolov等，2010），並且在各種自然語言處理任務（例如機器翻譯（Cho））中蓬勃發展。等人（2014），對話機器（Serban等人2016）和圖片說明（Mao等人2015）。

RNN也已成功應用於眾多應用中，例如順序點擊預測（Zhang等。

2014年），位置預測（Liu等人，2016年）和下一個籃子建議（Yu等人，2016年）。

          對於基於會話的推薦，（Hidasi等人2016a）的工作提出了遞歸神經網絡方法，然后擴展到具有並行RNN的體系結構（Hidasi等人2016b），該結構可以基於點擊次數和單擊項的功能。之后，基於這些RNN方法提出了一些工作。 Tan，Xu和Liu（2016）通過使用適當的數據增強技術並考慮了用戶行為的時間變化，提高了循環模型的性能。 Jannach和Ludewig（2017）將遞歸方法和基於鄰域的方法結合在一起，以混合順序模式和共現信號。 Tuan和Phuong（2017）將會話點擊與諸如項目描述和項目類別之類的內容特征相結合，以通過使用3維卷積神經網絡來產生建議。此外，基於列表的深度神經網絡（Wu和Yan 2017）對每個會話中受限的用戶行為進行建模，並使用基於列表的排名模型為每個會話生成推薦。此外，具有編碼器-解碼器體系結構的神經緊張的推薦機器（即NARM（Li等，2017a））在RNN上采用了注意機制，以捕獲用戶的順序行為和主要目的特征。然后，提出了使用簡單的MLP網絡和專心網絡的短期注意力優先級模型（STAMP）（Liu等人，2018），以有效地捕獲用戶的總體興趣和當前興趣。

          圖上的神經網絡。如今，神經網絡已被用於生成圖結構化數據的表示，例如社交網絡和知識庫。

為了擴展word2vec（Mikolov等人，2013），設計了一種無監督算法DeepWalk（Perozzi，Al-Rfou和Skiena 2014），以基於隨機游走學習圖節點的表示形式。繼DeepWalk之后，無監督網絡嵌入算法LINE（Tang等人，2015）和node2vec（Grover和Leskovec，2016）是最具代表性的方法。另一方面，經典神經網絡CNN和RNN也部署在圖結構數據上。 （Duvenaud等人，2015）引入了卷積神經網絡，該網絡直接在任意大小和形狀的圖形上運行。可擴展的方法（Kipf和Welling，2016年）通過頻譜圖卷積的局部近似來選擇卷積架構，這是一種有效的變體，也可以直接在圖上運行。

但是，這些方法只能在無向圖上實現。以前，以循環神經網絡的形式，提出了圖神經網絡（GNN）（Gori，Monfardini和Scarselli 2005； Scarselli等人2009）在有向圖上進行操作。作為對GNN的一種修改，門控GNN（Li等人，2015年）使用門控循環單元，並采用時間反向傳播（BPTT）來計算梯度。最近，GNN被廣泛應用於不同的任務，例如腳本事件預測（Li，Ding和Liu 2018），情境識別（Li等人2017b）和圖像分類（Marino，Salakhutdinov和Gupta 2017） 。

3 提出的模型

        在本節中，我們介紹擬議的SR-GNN，它將圖神經網絡應用於基於會話的推薦中。我們首先闡述問題，然后解釋如何從會話中構造圖，最后徹底描述SR-GNN方法。

        SR-GNN的整體框架如下圖所示：

圖1：提出的SR-GNN方法的工作流程。我們將所有會話序列建模為會話圖。然后，每個會話圖都一個接一個地進行，並且可以通過門控圖神經網絡獲得所得的節點向量。此后，每個會議都使用注意力網表示為該會議的全局偏好和當前興趣的組合。最后，我們預測每個會話出現下一擊的每個項目的可能性。

3.1符號定義

        基於會話的推薦旨在僅根據用戶當前的順序會話數據來預測用戶下一步將單擊哪個項目，而無需訪問長期偏好配置文件。在這里，我們給出以下問題的表述。

          在基於會話的推薦系統中，設V={ v1 , v2 ,…, vm }是所有session中的涉及的獨立物品，那么匿名的會話序列根據時間排序可以表示為s=[ vs,1 , vs,2 ,… vs,n ]。其中，Vs,i表示用戶在會話s中點擊的物品。因此基於會話的推薦系統的目標就是預測用戶的下一次點擊，比如V s,n+1 。當然在基於會話的推薦系統中，對於某一會話s，系統一般給出輸出概率最高的幾個預測點擊目標，作為推薦的候選。

3.2構造會話圖(Session Graphs)    (每個會話圖認為是全圖的一個子圖)

      （每個會話序列s可以建模為有向圖Gs =（Vs，Es）。 在該會話圖中，每個節點都代表一個物品 v s , i 每一條邊( v s , i − 1 , v s , i )代表在會話s中，用戶在點擊了物品 v s , i − 1 后點擊了 v s , i 。 由於某些項目可能會重復出現在序列中，因此我們為每個邊緣分配了歸一化的加權值，該加權值的計算方法是：邊緣的出現次數除以該邊緣的起始節點的向外度。我們將每個項v∈V嵌入到統一的嵌入空間中，節點向量v∈Rd表示通過圖神經網絡學習的項v的潛矢量，其中d是維數。基於節點向量，每個會話s可以由嵌入向量s表示，該向量由該圖中使用的節點向量組成。）

        每一個會話序列s都可以被建模為一個有向圖Gs=(Vs,Es)。在該會話圖中，每個節點都代表一個物品 vs,i 每一條邊( vs,i−1 , vs,i )代表在會話s中，用戶在點擊了物品 vs,i−1 后點擊了 vs,i 。因為許多item可能會在會話序列中多次出現，因此論文給每一條邊賦予了標准化后的加權值，權重的計算方法為邊的出現次數除以邊起點的出度。論文將每個item通過GNN都映射到一個統一的詞嵌入空間中，且節點對應的詞嵌入向量v表示通過圖神經網絡學到的詞嵌入向量。基於每個節點的詞嵌入向量的表示形式，每個會話s就可以嵌入向量表示：各個節點的詞嵌入向量按時間順序拼接而成。

3.3在會話圖上的學習物品嵌入向量(Learning Item Embeddings on Session Graphs)

        然后，我們提出如何通過圖神經網絡獲得節點的潛在向量。香草圖神經網絡由Scarselli等人提出。 （2009年），擴展了神經網絡方法來處理圖結構數據。 Li等。 （2015）進一步介紹了門控循環單元和提出門控GNN。GNN非常適合基於會話的推薦，因為它可以自動考慮富節點連接而提取會話圖的特征。我們首先演示會話圖中節點向量的學習過程。形式上，對於圖Gs的節點vs，i，更新函數如下所示：

    

其中 控制權重， 和 分別是復位門和更新門， 是會話s中的節點向量的列表，σ(·)是sigmod函數， 是逐元素乘法運算符。  表示節點 的潛矢量。關系矩陣 決定圖中的節點之間如何關聯， 是 中與節點 相關的兩列 (因為會話圖是有向圖，因此這的兩列分別對應的是當前節點到其他節點和其他節點到當前節點對應的關系系數)。

As 定義為兩個鄰接矩陣和的拼接，分別表示傳入邊和傳出邊的連接權重。具體例子如下圖所示：

圖2：會話圖和連接矩陣的示例

SR-GNN能夠根據不同的會話數據構建相應的會話圖，例如當節點存在描述和分類信息等內容特征時，該方法可以進一步推廣，
具體來說，可以將數據特征與節點向量相對應起來處理這些信息。

          對於每個會話圖Gs,門控圖神經網絡(Gated GNN)同時對所有的節點進行處理。其中(1)式是用於在關系矩陣As的監督下進行不同節點間的信息傳播，具體而言就是對於每個節點提取其相鄰節點的關系生成隱向量輸入后續的GNN中。然后重置門和更新門分別決定哪些信息需要丟棄和保留。之后，用(4)式中的目前狀態，之前的狀態和重置門計算候選狀態。最后根據(5)式用候選狀態，前一狀態和更新門計算表出最后的狀態。重復上述過程直至收斂，即可得到最后的各個節點的向量。

3.4生成會話嵌入向量

        之前基於會話的推薦方法一般假設對於每個會話的用戶都有明確的潛在表示。而SR-GNN恰恰相反，其不對生成的詞嵌入向量做任何假設。SR-GNN方法中的會話直接通過各個節點之間的聯系直觀表示。為了更好地預測用戶的下一次點擊，我們計划制定一項策略，將會話的長期偏好和當前興趣結合在一起，並使用這種組合的嵌入作為會話嵌入。

通過將所有的會話圖送入G-GNN中能夠得到所有節點的嵌入向量。接下來，為了將每個會話表示為嵌入向量 s∈R^d ，首先考慮局部嵌入向量s₁,對於會話s=[ vs,1 , vs,2 ,… vs,n ],局部嵌入向量可以簡單定義為會話中最后點擊(last)的物品 vs,n ,對於具體的session也可以簡單表示為 vn ,即 sl=vn 。

然后，論文結合所有節點嵌入向量來計算會話圖的全局嵌入向量 sg ,鑒於不同節點信息可能存在不同的優先級，為了使全局嵌入向量有更好的表現，論文引入了soft-attention機制。

q∈Rd*1, W1∈Rd*d, W2∈Rd*d,α∈R1*1 v∈Rd*1,s∈Rd*1

均是可訓練的，隨訓練迭代，控制着每個節點嵌入向量的權重 αi ，最后對於每個節點對應的詞嵌入向量進行加權求和得到最后的全局詞嵌入向量。

最后將會話的局部嵌入向量和全局嵌入向量相結合即可得到融合的嵌入向量。其中矩陣W3∈Rd×2d將兩個組合的em層理矢量壓縮到潛在空間Rd中。

3.5推薦決策和模型訓練

       進行建議和模型訓練在獲得每個會話的嵌入之后，我們通過將每個候選項目vi∈V的嵌入vi乘以會話表示sh來計算每個候選項vi∈V的分數zˆi，可以將其定義為：
,s_h∈R^d*1,v∈R^d*1, ziˆ∈R^1*1
然后，我們應用softmax函數來獲取模型yˆ的輸出向量：其中zˆ∈Rm表示所有候選項目的推薦分數，yˆ∈Rm表示節點s似乎是會話s中的下一次單擊的概率。

對於每個會話圖，損失函數定義為預測與基本事實的交叉熵。可以這樣寫：
，其中y表示地面真項的一熱編碼矢量。
        最后，我們使用時間反向傳播（BPTT）算法訓練提出的SR-GNN模型。

        請注意，在基於會話的推薦方案中，大多數會話的長度相對較短。因此，建議選擇相對較少的訓練步驟以防止過度擬合。

4.1 

4. 實驗和分析

        在本節中，我們首先描述實驗中使用的數據集，比較方法和評估指標。

然后，我們將提出的SR-GNN與其他比較方法進行比較。最后，我們對不同實驗設置下的SR GNN進行了詳細分析。

數據集

        我們在兩個現實世界的代表性數據集Yoochoose1和Diginetica2上評估了該方法。 Yoo select數據集來自RecSys Challenge 2015，其中包含6個月內用戶在電子商務網站上的點擊流。 Diginetica數據集來自CIKM Cup 2016，其中僅使用其交易數據。

        為了公平比較，以下（Li et al.2017a; Liu et al.2018），我們過濾掉所有長度為1的會話，並且在兩個數據集中出現少於5次的項。剩下的7,981,580個會話和37,483個項構成了Yoo select數據集，而204,771個會話和43097個項構成了Diginetica數據集。此外，類似於（Tan，Xu和Liu，2016年），我們通過分割輸入序列來生成序列和相關標簽。具體來說，我們將隨后幾天的時段設置為Yoochoose的測試集，並將接下來幾周的時段設置為Diginetiva的測試集。例如，對於輸入會話，s = [vs，1，vs，2，。 。 。 ，vs，n]，我們會生成一系列序列和標簽（[vs，1]，vs，2），（[vs，1，vs，2]，vs，3）、。 。 。 ，（[vs，1，vs，2，...，vs，nn 1]，vs，n），其中[vs，1，vs，2，... 。 。 ，vs，nn 1]是生成的序列，而vs，n表示下一個單擊的項目，即序列的標簽。跟隨（李等人。

2017年;劉等。 2018），我們還使用了Yoochoose訓練序列的最新分數1/64和1/4。

表1匯總了數據集的統計信息。

基線算法

為了評估所提出方法的性能，我們將其與以下代表性基線進行比較：

•POP和S-POP分別推薦訓練集中和當前課程中的前N個頻繁項。

•Item-KNN（Sarwar等人，2001）建議與會話中先前單擊的項目相似的項目，其中相似度定義為會話向量之間的余弦相似度。

•BPR-MF（Rendle等人，2009）通過隨機梯度下降優化了成對排名目標函數。

•FPMC（Rendle，Freudenthaler和Schmidt-Thieme 2010）是一種基於馬爾可夫鏈的順序預測方法。

•GRU4REC（Hidasi等人，2016a）使用RNN為基於會話的推薦建模用戶序列。

•NARM（Li等人，2017a）采用具有注意機制的RNN來捕獲用戶的主要目的和繼發行為。

•STAMP（Liu等人，2018年）捕獲了用戶對當前會話的總體興趣和對最終點擊的當前興趣。

評價指標

P@20:表示前20個推薦項目中正確推薦的准確率。
MRR@20(Mean Reciprocal Rank):代表正確推薦的物品優先級排名倒數的平均值，只計算前20個推薦中正確推薦的排名均值。MRR度量考慮推薦排名的順序，其中較大的MRR值表示正確的推薦位於排名列表的頂部。

參數設置

按照以前的方法（Li等人2017a; Liu等人。2018），我們為兩個數據集都設置了潛在向量的維數d = 100。此外，我們在驗證集上選擇其他超參數，該驗證集是訓練集的10％隨機子集。所有參數均使用高斯分布進行初始化，該分布的平均值為0，標准偏差為0.1。

微型批量Adam優化器用於優化這些參數，其中初始學習率設置為0.001，並且每3個周期將衰減0.1。此外，批量大小和L2罰分分別設置為100和10×5.

與基准方法的比較

        為了證明所提出模型的整體性能，我們將其與其他基於會話的最新推薦方法進行了比較。表2中顯示了P @ 20和MRR @ 20的總體性能，最佳結果以黑體字突出顯示。請注意，與（Li等人2017a）中一樣，由於內存不足以初始化FPMC，因此未報告Yoochoose 1/4的性能。

        SR-GNN將分離的會話序列聚合為圖結構數據。在此模型中，我們共同考慮了全球會議的偏好以及本地利益。根據實驗，很明顯，所提出的SR-GNN方法在P @ 20和MRR @ 20方面在所有三個數據集上均實現了最佳性能。這驗證了所提出方法的有效性。

        對於POP和S POP等傳統算法，其性能相對較差。這種簡單的模型僅基於重復的共同出現的項目或連續的項目進行推薦，這在基於會話的推薦方案中是有問題的。即便如此，S-POP仍然勝過其對手，例如POP，BPR-MF和FPMC，這說明了會話上下文信息的重要性。與基於Markov鏈的FPMC相比，Item-KNN可獲得更好的結果。請注意，項目KNN僅利用項目之間的相似性，而不考慮順序信息。這表明傳統的基於MC的方法主要依靠連續項獨立性的假設是不現實的。

        基於神經網絡的方法（例如NARM和STAMP）優於常規方法，證明了在這種方法中采用深度學習的力量。短期/長期記憶模型（例如GRU4REC和NARM）使用循環單位來捕獲用戶的總體興趣，而STAMP通過利用最后點擊的項目來改善短期記憶。這些方法明確地模擬了用戶的整體行為偏好，並考慮了用戶之前的操作和下次點擊之間的轉換，從而獲得了優於傳統方法的效果。但是，它們的性能仍然不如所提出的方法。與NARM和STAMP等最新方法相比，SR-GNN進一步考慮了會話中各個項目之間的轉換，從而將每個會話模型化為圖表，從而可以捕獲用戶之間更多的復雜和隱式連接點擊。而在NARM和GRU4REC中，它們顯式地對每個用戶建模，並通過分離的會話序列獲得用戶表示，並且可能忽略項目之間的交互關系。因此，提出的模型對會話行為的建模更為強大。  

        此外，SR-GNN采用軟注意力機制來生成會話表示，該會話表示可以自動選擇最重要的項目轉換，而忽略當前會話中的嘈雜和無效的用戶操作。相反，STAMP僅使用最后單擊的項目和以前的操作之間的過渡，這可能不夠用。其他RNN模型，例如GRU4REC和NARM，也無法在傳播過程中選擇有影響的信息。他們使用以前的所有商品來獲取代表用戶總體興趣的矢量。如果用戶的行為毫無目的，或者在當前會話中他的興趣迅速漂移，則傳統模型將無法有效應對嘈雜的會話。

與各種連接方案的比較

        所提出的SR-GNN方法可以靈活地構造圖中各項目之間的連接關系。由於會話中的用戶行為受到限制，因此在本節中，我們提出了另外兩種連接方式，以增強每個會話圖中項目之間的有限關系。

首先，我們將所有會話序列聚合在一起，並將它們建模為有向整體項目圖，此后稱為全局圖。在全局圖中，每個節點表示一個唯一的項目，每個邊表示從一個項目到另一個項目的有向過渡。其次，我們將一個會話中項目之間的所有高級關系明確建模為直接連接。總之，提出了以下兩種連接方案以與SR GNN進行比較：

• 具有歸一化全局連接的SR-GNN（SR-GNN-NGC）用基於SR-GNN的全局圖提取的邊權重替換連接矩陣。

• 具有完全連接的SR-GNN（SR-GNN-FC）使用布爾權重表示所有高階關系，並將其對應的連接矩陣附加到SR-GNN的連接矩陣。

不同連接方案的結果如圖3所示。從圖中可以看出，所有三種連接方案都可以達到與最新的STAMP和NARM方法更好或幾乎相同的性能，從而確認了其有用性。將會話建模為圖形。

• 與SR-GNN相比，SR-GNN-NGC減少了連接到節點的邊緣的影響。這種融合方法特別影響當前會話的完整性，尤其是當圖中邊緣的權重變化時，導致性能降級。
• 類似地，據說SR-GNN-FC的性能比SR-GNN差，盡管這兩種方法的實驗結果沒有太多差異。如此小的差異表明，在大多數推薦方案中，並非每個高階轉換都可以直接轉換為直接連接，而高階項之間的中間階段仍然是必不可少的。

關於SR-GNN和SR-GNN-FC，前者僅對連續項之間的精確關系建模，而后者進一步明確地將所有高階關系視為直接連接。據實驗，盡管這兩種方法的實驗結果相差不大，但SR-GNN-FC的性能比SR-GNN差。結果的微小差異表明，在大多數推薦方案中，並非每個高階轉換都可以轉換為直線連接，並且高階項之間的中間階段仍然是必需的。例如，考慮到用戶在瀏覽網站時瀏覽了以下頁面：A→B→C，由於中間沒有缺少直接連接，因此不建議在A之后跳過中間B推薦頁面C。 

與不同會話嵌入的比較

與不同會話嵌入的比較我們將會話嵌入策略與以下三種方法進行比較：（1）僅本地嵌入（SR-GNN L），（2）具有平均池的全局嵌入（SR-GNN AVG）和（3）使用關注機制（SR-GNN-ATT）進行全局嵌入。具有四種不同嵌入策略的方法的結果如圖4所示。

從圖中可以看出，混合嵌入方法SR-GNN在所有三個數據集上均取得了最佳結果，這證明了將當前會話興趣與長期偏好明確地結合在一起的重要性。此外，這些圖表明，在三個數據集中平均合並時，SR-GNN-ATT的形式優於SR-GNN-AVG。它表明會話可能包含一些嘈雜的行為，無法單獨處理。從 側面看，表明注意機制有助於從會話數據中提取重要行為以構建長期偏好。

請注意，SR-GNN-L是SR-GNN-AV的降級版本，其性能仍優於SR-GNN-AVG，並具有與SR-GNN-ATT幾乎相同的性能，支持當前的興趣和長期偏好對於基於會話的推薦至關重要。

會話序列長度的分析

        我們進一步分析不同模型應對不同長度會話的能力。為了進行比較，我們將Yoochoose 1/64和Diginetica的會話分為兩組，其中“ Short”表示會話的長度小於或等於5，而每個會話中“ Long”的項都超過5。選擇樞軸值5是因為它是所有數據集中總會話平均長度的最接近整數。在Yoochoose數據上，屬於短組和長組的會話百分比為0.701和0.299，在Diginetica數據上為0.764和0.236。對於每種方法，我們在表3中報告根據P @ 20評估的結果。

        我們提出的SR-GNN及其變體在會話長度不同的兩個數據集上穩定運行。它證明了該方法的優越性能以及圖神經網絡在基於會話的推薦中的適應性。相反，STAMP的性能在短期和長期小組中都有很大變化。STAMP（Liu et al。2018）根據重復的行為解釋了這種差異。它采用注意機制，因此在獲取用戶表示時可以忽略重復的項目。與STAMP類似，在Yoochoose上，NARM在短組中表現良好，但是性能隨着會話時間的增加而迅速下降，部分原因是RNN模型難以應對長序列。

        然后，我們分析了具有不同會話表示形式的SR-GNN-L，SR GNN-ATT和SR-GNN的性能。與STAMP和NARM相比，這三種方法均取得了可喜的結果。可能是因為基於圖神經網絡的學習框架，我們的方法可以獲得更准確的節點向量。

這樣的節點嵌入不僅可以捕獲節點的潛在特征，還可以對節點連接進行全局建模。在此基礎上，SR GNN的變體之間的性能是穩定的，而兩種最新方法的性能在短數據集和長數據集上都有很大的波動。此外，該表顯示，盡管該變體僅使用本地會話嵌入向量，但SR-GNN-L也可以獲得良好的結果。可能是因為SR-GNN-L還隱含地考慮了會話圖中的一階和高階節點的屬性。圖4還證明了這種結果，其中SR-GNN-L和SR-GNN ATT都達到了接近最佳的性能。

5 結論

在難以獲得用戶的喜好和歷史記錄的情況下，基於會話的推薦是必不可少的。

本文提出了一種基於會話的推薦的新穎架構，該架構將圖形模型合並到表示會話序列中。所提出的方法不僅考慮了會話序列項之間的復雜結構和過渡，而且還開發了一種將長期偏好和會話當前興趣相結合的策略，以更好地預測用戶的下一步操作。全面的實驗證實，該算法可以持續優於其他最新技術。

論文源碼：
https://github.com/CRIPAC-DIG/SR-GNN