https://www.cnblogs.com/kyxfx/articles/9181778.html
https://www.cnblogs.com/kyxfx/articles/Attention-based_Group_Recommendation.html
TRAN DANG QUANG VINH, Nanyang Technological University, Singapore
TUAN-ANH NGUYEN PHAM, Nanyang Technological University, Singapore
GAO CONG, Nanyang Technological University, Singapore
XIAO-LI LI, Institute for Infocomm Research(I2R), A∗STAR, Singapore
譯注：文中的群組、組、小組、群體等詞均為英文group在不同語境下的漢化翻譯。項目一詞對應item。
推薦系統廣泛應用於諸如谷歌、Twitter、LinkedIn和Netflix等大型信息公司。一個推薦系統通過使用用戶偏好篩選重要信息片段來處理信息過載的問題。隨着深度學習越來越成功，最近的研究證明了在各種推薦任務中使用深度學習的好處。然而，大多數提出的技術都只針對個體，這在群體推薦中是無法有效應用的。
在本文中，我們提出了一種深度學習架構來解決群體推薦問題。另一方面，人們注意到作為個體的用戶和群組成員的行為是不同的。為了解決這些問題，我們建議使用注意機制來捕獲群組中每個用戶的影響。具體地說,我們的模型自動學習群組中的每個用戶的影響權重並根據其成員的權重偏好為群組推薦項目。我們對四個數據集進行了廣泛的實驗。我們的模型顯著地優於基線方法，並且在將深度學習應用於群體推薦問題上顯示了很有希望的結果。
CCS概念: • 組推薦 • 協同過濾 • 注意力機制
ACM Reference Format:
Tran Dang Quang Vinh, Tuan-Anh Nguyen Pham, Gao Cong, and Xiao-Li Li. 2018. Attention-based Group Recommendation.
1, 1 (April 2018), 17 pages. https://doi.org/0000001.0000001
1 簡介
推薦系統廣泛應用於基於事件的社交網絡服務(Meetup)、媒體(Netflix和Last.fm)、餐飲和餐飲服務(Yelp)等。雖然大多數推薦技術都關注於個人推薦[1,18,24,30]，但在很多情況下，推薦的產品或服務都被一群用戶所消費。群體推薦的應用場景包括:與同事共進晚餐，與配偶一起看電影，與朋友一起去野餐。例如，圖1顯示了線下事件 AI周六2018年冬季周期啟動! @微軟的Meetup1組人工智能周六在新加坡，在那里用戶聚集在微軟辦公室舉行一個關於人工智能的小型研討會。然而，針對個人的傳統推薦方法不能有效地應用於群體推薦。因此，許多最近的研究集中於開發有效的推薦系統[3、5、6、13、20、27、37、39]。
圖1所示。一個Meetup事件的例子
Facebook和Meetup等社交網絡服務的快速增長，讓人們越來越容易組織和參與群體活動。這些社交網絡服務不僅針對個人，也針對用戶群體。群組內用戶之間的偏好差異需要一定的權衡，以平衡這種偏好，並向群組推薦最有利的項目。現有的群組推薦方法可以分為基於內存和基於模型的方法[18,32]。基於內存的方法可以進一步分為兩個子類:偏好聚合[18,22]和評分聚合[5、11、21、25、28]。偏好聚合策略將所有用戶首選項組合成一個群組概要，然后向群組提出建議，而評分聚合策略計算每個成員的推薦列表，然后將單個列表組合起來生成建議。每種策略都有局限性:偏好聚合可能推薦不需要的項，而分數聚合可能無法滿足重要的偏好。與基於內存的方法不同，基於模型的方法檢查群組成員之間的交互，並對群組的決策過程建模以推薦項目。然而，這些現有的解決方案都有局限性:它們在對群體復雜決策過程建模時不夠充分，導致了這些模型的次優性能。
在這一工作中，我們從傳統的內存和基於模型的方法中分離出來，我們通過采用深度學習技術來構建模型來解決群組推薦的基本挑戰。這里的關鍵挑戰是如何構建一個深度架構，以便在用戶參與不同的群組時為其分配不同的權重。通過這種方式，我們可以動態地調整用戶的權重，這取決於用戶加入的群組，因為用戶在不同的群組中行為不同，這取決於用戶的相關專業知識。此外，盡管許多現有的前沿方法如PIT[20]和COM[39]為聚合群組中成員的偏好提供了不同的策略，這些方法只考慮群組-項目和用戶-項目交互，而忽略了群組中的用戶之間的交互。從直覺上講，團隊中的用戶在實際做決定之前總是會互相討論他們的意見和偏好，而不是單獨做決定。因此，如何有效地建模團隊中用戶之間的交互是我們需要解決的另一個挑戰。
AGR（Attentive Group Recommendation）采用注意力機制，假設群體中的成員傾向於聽從最重要成員(領導/專家)的意見，而不是平等地考慮所有成員的偏好。與現有的最前沿的方法相比，AGR對用戶之間的交互進行建模，探索每個用戶對群組的影響，並捕獲不同群組中一個用戶的變化影響。本文的主要貢獻是:
•所提出的注意力群體推薦模型采用了一種新穎的深度學習方法來解決群體推薦問題。雖然基於圖和概率的模型已經得到了廣泛的研究，但是AGR是第一個將注意力機制技術應用到群體推薦中的。
•我們開發了基於AGR的推薦方法。該模型速度快，參數效率高，理論上優於其他前沿的概率模型，如PIT或COM。
•我們對四個數據集進行了廣泛的實驗，結果表明，AGR始終比許多其他前沿的方法取得更好的結果。AGR說明深度學習是進一步研究群體推薦的一個有前途的方向。
論文的其余部分組織如下:第2節概述現有文獻;第3節介紹了初步情況，包括注意機制和貝葉斯個性化排名(BPR);第4節提出注意力群組推薦模型;第5節展示了模型在四個數據集上的實驗;和第六節總結。
2相關工作
2.1群組推薦
群組推薦是社交媒體[28]、旅游[23]、娛樂等社會活動和行業中的相關問題[11,25,38]。盡管針對個人的推薦技術得到了廣泛的研究，但針對群體推薦的研究卻很有限。CF方法可以分為基於內存的CF和基於模型的CF[18,32]，而基於內存的方法可以進一步分為偏好聚合方法和分數聚合方法[3]。偏好聚合方法基於組合了所有用戶首選項的群組概要進行推薦[22,38]。另一種方法是，分數聚合方法為每個用戶計算一個項目的推薦分數，然后將各個用戶的分數進行匯總，從而得出該項目的群組推薦分數[5,11,21,25,28]。
在這兩種方法中，分數聚合比偏好聚合更靈活，因此更受到研究社區的關注[3,17,25]。最常見的兩種得分聚合策略是平均(AVG)和最小痛苦？(LM)策略。AVG策略將群體中個人的平均得分作為最終得分，從而最大化整體的群體滿意度[22,38]。另外,LM策略通過選擇所有個人評分中的項目最低分數為項目在群組中的最后得分而取悅每個人[5] 。這兩種方法都有主要的缺點。AVG策略可能會返回對某些人有利的項目而對另一些人不利，而LM策略最終可能會推薦沒有人喜歡也沒有人討厭的平庸物品。Baltrunas et al.[5]指出，兩種策略的性能都取決於群組大小和組內相似度，因此這兩種策略可能沒有可比性。Yahia等人提出了關聯與分歧的新概念。討論了群體成員之間對每一項的偏好差異是不可避免的，作者通過實驗證明，加入分歧，可以顯著提高AVG和LM策略的推薦質量。
最近對更高級的群組推薦技術的需求導致了基於模型的新方法的開發[2,18,32,36]。例如,Seko等[31]模型在推薦中包含項目類別,認為項目類別影響群組決策，並且不同類別的項目嚴格來說並不具有可比性。塞科等方法,然而,只適用於預定義群組(也稱為靜態群組)如夫妻,而在實際中常常是臨時的（ad-hoc）。更具體地說，預定義的群組是持久的群組，如家庭或班級中的學生，我們可以將這些群組作為偽用戶，並應用單用戶推薦技術。另一方面，臨時群組通常是短暫的，它們只是為了一次性或少量的活動而形成的。因此，由於這些群組不是持久的，並且帶來了一些挑戰，所以在本文中我們實際上更關心臨時組。在組推薦中應用博弈論,卡瓦略等[6]認為每一個組項目作為一個非合作博弈,或成員之間的競爭博弈,並建議推薦的目標應該是納什均衡的。然而，由於納什均衡可以是一組項目，博弈理論方法可能不能推薦一個特定的項目。
概率模型也被廣泛應用於解決群體推薦問題。劉等[20]提出個人影響主題(PIC)模型組建議,假設最具影響力的用戶組的代表,因此應該對組決策產生重大影響。然而,這種假設並不反映在現實中用戶喜好的影響導致組決策最后的決定,如果她是一個領域的專家。例如，一位電影愛好者可能會決定，當和她的朋友一起去看電影時，該小組應該看哪部電影。但是她可能不是決定他們之后要去哪家餐館吃飯的那個人。Yuan等人也提出了群體推薦的共識模型(consensus model, COM)。模型假定(1)用戶決策影響取決於決策的主題,和(2)群體決策過程是同時到組偏好的主題和每個用戶的個人喜好的影響。盡管有這樣的假設，COM還是受到與PIT相似的限制:兩個模型都為每個用戶學習一個固定的特征參數。PIT理所當然地認為一個有影響力的用戶在她所有的團隊中都占據着主導地位，COM期望一個用戶在不同的團隊中擁有同樣的影響力。另外，等[13]假設參與項目的分數不僅取決於其對群體中每個成員的相關性，還取決於其對整個群體的相關性。他們開發了一種基於信息匹配的群組推薦模型，但該模型存在時間復雜度高的問題。最近，Hu等人開發了一個名為DLGR的深層架構模型，該模型學習了群體偏好的高級綜合特征，避免了數據的脆弱性。然而,由於這個模型只關注預定義的組而不是特別的組，所以我們不比較DLGR和我們在本文中提出的模型。
本文提出的AGR模型學習並靈活地提取了不同群體的每個用戶的影響權重參數的不同值。我們還給出了AGR和最先進的模型之間的比較結果
2.2基於深度學習的推薦系統
推薦系統是一種信息過濾系統，目的是根據用戶的喜好向用戶推薦項目，從而使得對用戶推薦的項目相對較新。隨着深度學習的普及，深度學習技術由於其先進的性能和高質量的推薦而被廣泛應用於推薦系統[7,8,10,14,26,33,34]。深度學習能夠捕獲用戶與項目之間的非線性和復雜的關系，從而更好地理解用戶需求和項目特征，以及它們之間的交互。將深度學習集成到推薦系統的巨大成功表明，在各種各樣的推薦任務中，專注於構建神經推薦系統的工作正在涌現，在[40]中可以找到全面的回顧。其中，利用深度學習技術進行群組推薦的作品非常有限。
我們提出的AGR模型使用基於用戶評級歷史的深度學習技術給出推薦結果，因此可以歸類為基於CF模型的方法。特別地，AGR利用注意力機制來調整群組的表示，稍后將在第3節和第4節介紹更多的細節。模型設計還允許在需要時使用輔助信息，如用戶內容特性，盡管這種模型的開發超出了本文的范圍，在未來的工作中仍有待探索。
3 PRELIMINARIES
讓U = {u1,u2，…，um}， I = {i1, i2，…， in}為M個用戶和N個項目的集合。我們表示歷史日志{⟨g1、s1⟩⟨g2,s2⟩...⟨gn,sn⟩},
表示一個臨時小組,
表示該小組選中的項目。
給定目標組
，我們的目標是生成組成員
可能感興趣的項目的推薦列表。
3.1貝葉斯個性化排名(BPR-Bayesian Personalized Ranking)
基於矩陣分解方法，貝葉斯個性化排序方法(BPR)旨在解決隱式反饋推薦[29]的挑戰。BPR為一個用戶和兩個項目建立了三元模型:正項目被觀察到，負項目沒有被觀察到。BPR 三元模型假設，如果用戶u已經查看了一個項目i(正項)，那么用戶肯定更喜歡這個項目而不是所有其他未觀察到的(負面的)。因此，該模型將正項比負項排序更高。
BPR優化目標是基於最大后驗估計器進行最優個性化排序。具體來說，BPR模型可以描述為:
其中(u, i, j)為屬於集合Ds的三元組，集合Ds包含每個用戶的所有正項和負項對;Θ表示模型參數;ˆRui(Θ)是用戶u對項i的預測評分;σ是logistic sigmoid函數，λ 是正則化參數。我們采用BPR作為學習模型的基礎
3.2注意力機制
注意力機制是最近深度學習中最令人興奮的進展之一[4,9,35]。注意力的概念已經在神經科學和計算神經科學中得到了探索[12,16]。直覺上，當動物視覺上訪問一個對象時，它會關注(注意)對象的某些重要部分，而不是整個對象，以得到一個響應。這一原則對於計算神經科學是必不可少的，因為它允許基於最相關的信息而不是所有可用的信息進行分析。
神經科學中關於注意力的思想激發了深度學習中注意機制的發展。注意機制已成功應用於各種機器學習任務，如機器翻譯[4]，圖像和視頻字幕[35]，語音識別[9]。本文采用軟注意機制模型，通過對一組特性的學習和分配，使更重要的特征得到更大的權重。具體來說,我們使用注意力來衡量每個小組成員在小組最后決策中的影響。
圖2 注意機制
圖2展示了注意機制的一個示例。注意模型采用x1, x2，…xn和上下文c。然后它返回xi的參考了上下文相關信息的組合，即向量y。具體地說,給定一個上下文c模型返回每個xi的加權算術平均數,權重αi根據xi的相關性得出。
盡管注意機制有許多不同的變體，上面示例中所示的版本是最流行的版本之一。注意模型的一個有趣的特性是,權重αi可以很容易地提取並繪制,使我們能夠可視化特征xi的重要性並根據這些圖表進行分析。
注意力機制在計算機視覺、自然語言處理等各個學科中都表現出了靈活性和有效性。我們提出的AGR是第一個基於注意力的群體推薦模型，從而將注意力機制的使用擴展到群體推薦中。
4注意力群組推薦
本節介紹我們的群組推薦(AGR)模型。首先，我們展示了模型背后的直覺和動機。然后，我們描述了通用框架，並將設計框架與其他最先進的模型進行了比較，以展示AGR的優勢。
4.1 模型設計
AGR模型的目的是模擬基於以下直覺的群體決策:
•直覺1:當用戶選擇一個項目作為團隊成員或個人時，她會以不同的方式調整自己的行為。具體來說,在群組的決策過程中，一個用戶傾向於調整她的喜好,以適應群組偏好,而不是只考慮自己的興趣。
直覺2:組中的用戶通常有不同的背景和經驗，用戶在不同組中的行為會因其相關的專業知識而不同。例如，一個對電影有扎實了解的用戶可能會主導為一個群體選擇電影的決策，但可能不會對選擇露營地點的決策做出任何貢獻。
直覺3:群體的偏好是由成員的偏好決定的[3,13]。此外,用戶選擇一個項目時總是考慮他們的個人喜好和群體偏好[39]。用戶決策因此受到其他小組成員的影響。
總的來說,我們觀察到成員之間的相互作用對群組決策的產生非常重要:在做群組決定前，用戶總是互相討論他們的意見和偏好。在現有的方法中還沒有對成員交互的重要性進行檢驗。AGR的一個主要貢獻是，該模型探索用戶如何影響組決策中的其他用戶，以及組決策如何相應地變化。
圖3 注意力群組推薦
4.2總體框架
AGR使用一種基於注意力的神經網絡對群組與候選項的偏好得分進行建模。具體來說，我們利用注意力網絡來學習每個組員的偏好程度
直覺上，我們認為，在群體決策過程中，(i)每個用戶i提名一定的用戶作為群體的主要決策者，(ii)然后得票最多的用戶為群體選擇一個條目。這樣一個投票方案意味着相關領域的專家用戶群組偏好通常獲得高票。投票方案還假定每個用戶在投票時同時考慮她的個人偏好和群組偏好(直覺1)。模擬群體決策的步驟(i)中,我們可以考慮影力響權重參數αi,j,代表i對用戶j的投票偏好。可以假設影響力權重參數αi,j 對用戶對(i,j)在所有包含i、j的用戶群組中是常量。然而，由於用戶i在不同的群體中，對用戶j的影響力可能有不同的感知(直覺2)，這樣的假設在現實中可能不成立。例如，用戶j在與她的專業相關的群體中應該比在她不熟悉的群體中有更大的影響力。因此，影響力權重αi j應該根據不斷變化的動態群組偏好進行計算。
我們建議使用基於注意力的模型來估計跨組的影響權重的變化，該模型假定每個用戶只考慮對群組決策中相關主題重要的少數用戶。正式的，給定組成員{u1,u2，…un}在群組g,我們定義αi,j作為用戶j在子群組i（包含除了用戶i以外的其他用戶）中的偏好程度,。AGR因此學習權重αi,j作為用戶j對整個群組的重要性,而不是僅僅特定用戶i的影響。換句話說,注意力模型學習權重αi,j 考慮整個團隊在用戶i上的影響,包括用戶j。我們從包含n個用戶的g組中創建n個子組，探究每個用戶對其余成員的影響(直覺3)，每個子網絡注意力支持一個子群組。
AGR通過兩個因素向量對每個用戶i進行建模:用戶潛在向量ui和用戶上下文向量ci。這兩個向量同時被學習。注意模型使用上下文向量ci來估計其他用戶對於用戶i的影響({u1,u2，…,ui−1,ui+1,,,un})。 群組g的表達式為
,同時
。我們考慮
，也就是說，投票方案對所有用戶的投票平等的進行計算。
群組g的表示可以進一步改寫為
，這個方程說明了AGR在學習每個用戶j在不同群組中的動態權重
時的靈活性。
子網絡注意力模型。每個子網絡注意力模型學習用戶的偏好以便學習群組的表達。我們評估每個群組成員i和組內其他成員的交互以學習出i 對群組決策產生的影響。給定一個用戶上下文向量ci和一組用戶潛在向量{u1,u2，…un}，我們使用一個兩層網絡來計算注意力得分ai,j :
其中矩陣wc、Wu和bias b為第一層參數，向量w和bias c為第二層參數。我們簡單地使用一個線性ϕ(x)= x,但還可以使用ReLU函數ϕ(x)= max(0,x)。
我們利用Softmax函數對ai,j進行歸一化，得到最終的注意權重:
因此，我們得到項
的分數為
，其中
目標函數。AGR利用BPR兩兩學習來優化正負項目對的兩兩排序:
其中U、C和I是用戶潛在向量、用戶上下文向量和項目向量的集合;(g, j, k)是屬於集合Ds的三元組，它包含每個群組g的所有正項和負項對;αi,l是用戶l在子群組i的權重。
圖3展示了AGR的架構。對於給定的組，我們創建n個子網絡注意模型。每個子網絡的注意模型，我選取了上下文向量ci和成員用戶潛在向量的集合{u1,u2，…,ui−1,ui+ 1...un},然后返回每個用戶j(j!=i)的注意力權重αi,j。盡管AGR的工作流程分為n個子網絡注意力模型,所有子網絡注意力模型在學習過程中共享相同的權重。每個子網絡注意力模型i的輸出使用加權求和
計算並給出上下文ci。然后將所有子網絡注意力的結果相加，形成最終的群潛在向量。最后，我們將BPR應用於最終的群潛伏向量，推導出BPR兩兩學習目標函數。
4.3方法的改進
AGR結合了最先進的模型優勢和新的、靈活的深度學習應用，克服了PIT的局限性，極大地改善了群體決策過程。在本節中，我們將AGR與PIT進行比較，而不是COM，因為COM不像PIT和AGR那樣學習個人影響權重的數值。
為每個群組的每組用戶學習自定義權重而不是像PIT算法那樣為一個用戶在所有群組中分配相同權重，因此AGR能夠檢測到用戶在不同的群組決策中的的影響。AGR因此為群組推薦提供了一個動態框架。AGR的一個顯著優勢是，該模型不僅可以了解不同組中的每個用戶的動態權重，而且還允許我們提取權重值以進行進一步的可視化和評估。我們下一節的實驗將比較AGR和矩陣分解模型，該模型為所有用戶分配相同的權重，以及其他前沿方法，以展示AGR的優越靈活性。
未完
原論文地址： https://arxiv.org/abs/1804.04327
Attention-based Group Recommendation
轉載請注明出處 https://www.cnblogs.com/kyxfx/articles/9181778.html
https://www.cnblogs.com/kyxfx/articles/Attention-based_Group_Recommendation.html