摘要：本文是由華為雲數據庫創新Lab聯合電子科技大學數據與智能實驗室發表在頂會CIKM’21的文章，該文章提出首個克服人類移動軌跡數據中普遍存在的多層次周期性、周期偏移現象以及數據稀疏問題的軌跡恢復模型。
本文分享自華為雲社區《CIKM'21 PeriodicMove論文解讀》，作者：雲數據庫創新Lab。
導讀
本文(PeriodicMove: shift-aware human mobility recovery with graph neural network)是由華為雲數據庫創新Lab聯合電子科技大學數據與智能實驗室發表在頂會CIKM’21的文章，該文章提出首個克服人類移動軌跡數據中普遍存在的多層次周期性、周期偏移現象以及數據稀疏問題的軌跡恢復模型。CIKM是信息檢索和數據挖掘領域頂級學術會議之一。本屆會議共收到投稿1251篇，其中錄用論文271篇，錄取率約為21.7% 。該論文是雲數據庫創新LAB在軌跡分析層面取得的關鍵技術成果之一。
1 摘要
隨着各種基於位置的服務的推出，將稀疏的人類移動軌跡數據進行恢復補全以提升這些下游任務的准確率顯得尤為重要。然而人類移動軌跡數據的恢復面臨着較大的挑戰：
- 軌跡中軌跡點之間具有復雜的轉移模式
- 人類移動軌跡數據中普遍存在多層次周期性以及周期偏移現象
- 現目前采集的軌跡數據是相對稀疏的
在本文中，我們提出了一個名為PeriodicMove的基於圖神經網絡的人類行為軌跡恢復模型，在該模型中，我們首先對每條歷史軌跡構建有向圖，並使用圖神經網絡捕捉位置之間的復雜轉移模式；之后，我們設計了兩個注意力機制分別捕捉人類行為軌跡的多層次周期性與周期偏移性；最后，我們設計了一個空間感知的損失函數來將位置的空間臨近信息引入到模型中，從而一定程度上緩解了數據稀疏問題。我們在兩個具有代表性的人類軌跡數據集上做了大量實驗，實驗結果表明，我們的模型PeriodicMove相對於目前SOTA模型獲得了2.9%-9%的大幅性能提升。
2 模型
2.1 模型架構
我們的模型主要包括五個部分：圖神經網絡層、時序嵌入層、兩個注意力機制層以及最后的融合恢復層
2.2 圖神經網絡層
為了捕捉軌跡中軌跡點之間復雜的空間轉移關系，我們首先將每條軌跡按照如圖所示方式進行建圖，然后利用圖神經網絡來學習有向圖中軌跡節點之間復雜的空間轉移模式
2.3 時序嵌入層
我們采用《Attention is all you need》中提到的利用三角函數中相對相位來刻畫軌跡序列中的相對順序關系，然后我們將圖神經網絡層以及時序嵌入層的結果拼接起來，形成包含復雜時空依賴關系的嵌入向量表示
2.4 注意力機制層
Cross Attention Layer主要用於解決人類移動軌跡數據中的周期偏移現象，我們將當前時刻t的移動模式與每一條歷史軌跡中所有時刻的移動模式進行比較，基於一個相似性權重將相關的歷史信息聚合在歷史軌跡的t時刻以解決周期偏移現象
在經過Cross Attention Layer后，每一條歷史軌跡的每個時刻的軌跡點表示可以理解為根據當前待補全軌跡的每個時刻進行了偏移校准。接下來在Soft Attention Layer中，我們將當前軌跡的第t時刻與每一條歷史軌跡的第t時刻的軌跡表示進行一個attention操作，形成一個包含歷史軌跡中的多層次周期性的歷史軌跡表示
2.5 融合恢復層
在最后的融合恢復層，我們利用包含復雜時空依賴關系、包含多層次周期性且克服了周期偏移現象的歷史軌跡增強序列輔助當前軌跡來進行最后的補全恢復
2.6 設計Distance Loss
在軌跡數據高度稀疏的場景下，交叉熵損失不能很好地捕捉空間鄰近性，而空間鄰近性是人類移動恢復的重要特征。因此，我們設計了一個距離損失函數，以納入空間鄰近信息的模型，並且采用了 Noise Contrastive Estimation (NCE)來加速模型的訓練，可視化結果顯示，加入了Distance Loss能夠有效幫助模型捕捉空間鄰近信息
3 實驗
3.1 實驗結果
我們的模型PeriodicMove相對於目前SOTA模型（2021-AAAI）獲得了2.9%-9%的大幅性能提升
3.2 消融實驗
我們對模型五個部分分別進行了消融實驗，從實驗結果中可以看出每個模塊對於我們的任務都有一定的貢獻，其中Soft Attention Layer模塊去掉后，模型效果下降最快，說明人類移動軌跡數據恢復任務中多層次周期性起着非常大的作用
3.3 魯棒性實驗
我們將本模型與最新的SOTA模型（2021-AAAI）進行一個在不同缺失率下的魯棒性實驗，從實驗結果中可以看出，兩個模型都具有較好的魯棒性，但是我們的模型在各個缺失率下的效果都在AttnMove上有一定的提升
4 應用
在各種基於位置的服務中如：個性化地理位置推薦、城市智能交通調度以及軌跡異常檢測等諸多場景，只要是收集到的軌跡數據是稀疏的都會影響這些下游任務的准確率。我們論文的目的是將稀疏的軌跡數據恢復成稠密且精細的軌跡數據，以提高這些下游任務的准確率
華為雲數據庫創新lab官網：https://www.huaweicloud.com/lab/clouddb/home.html