從歷史到未來的原因:時間知識圖的兩階段推理
Abstract
Temporal Knowledge Graphs (TKGs) have been developed and used in many different areas. Reasoning on TKGs that predicts potential facts (events) in the future brings great challenges to existing models. When facing a prediction task, human beings usually search useful historical information (i.e., clues) in their memories and then reason for future
meticulously. Inspired by this mechanism, we propose CluSTeR to predict future facts in a two-stage manner, Clue Searching and Temporal Reasoning, accordingly. Specifically, at the clue searching stage, CluSTeR learns a beam search policy via reinforcement learning (RL) to induce multiple clues from historical facts. At the temporal reasoning stage, it
adopts a graph convolution network based sequence method to deduce answers from clues. Experiments on four datasets demonstrate the substantial advantages of CluSTeR compared with the state-of-the-art methods. Moreover, the clues found by CluSTeR further provide interpretability for the results.
時間知識圖譜 TKGs 已經發展並應用到了許多領域，基於預測未來潛在事件的 EKGs 的推理給現有的模型帶來了極大挑戰。在面對預測任務時，人類通常會在記憶中搜索有用的歷史信息（即線索），來仔細思考未來。在此機制的啟發下，提出了基於線索搜索和時間推理兩階段的聚類預測方法CluSTeR。具體來說，在線索搜索階段，通過強化學習RL學習波束搜索策略，從歷史事實中歸納出多個線索。在時序推理階段，采用基於圖卷積網絡的序列方法，從線索推出答案。此外CluSTeR發現的線索進一步提供了結果的可解釋性。
Introduction
TKGs 中的每個事實都有一個時間戳，來指示其發生的時間。例如 ( COVID-19, New medical case occur, Shop, 2020-10-2 ), 表示2020-10-2在某商店發生了新病例。給定一個歷史事實，如何回答問題( COVID-19, New medical case occur, ？, 2020-10-2 ) ？如圖1，
根據 dual process theory 雙過程理論，人類預測未來的事件首先是搜索大容量的記憶，直觀地找到一些相關的歷史信息（即線索），如圖1左側所示，查詢主要有三類重要線索：
- 與查詢具有相同關系的 1 跳路徑，稱為重復單跳路徑，例如 ( COVID-19, New medical case occur, Shop )
- 與查詢關系不同的 1 跳路徑，稱為非重復單跳路徑，例如 ( COVID-19, New suspectedcase occur, Bank )
- 2 跳路徑，例如 ( COVID-19, Diagnose -1 , The man, Go to，Police station )
人類會從自己的記憶中回憶這些線索，並得出一些直觀的備選答案。其次，人類通過更深入地挖掘時間信息線索和進行一個細致推理過程來得到准確的答案。如圖 1 右側所示，這個人在確診前兩個月去的警局，這明顯不可能是正確答案，最終得出結論 Shop
現有模型主要關注上訴第二個過程，而低估了第一個過程，最近的一些研究，在考慮所有的歷史事實的情況下，學習實體的演進嵌入。然而，只有少數的歷史事實對特定的預測是有用的。因此還有別的研究主要是對歷史中 1 跳重復路徑（重復事實）進行編碼。以廣泛使用的數據集ICEWS18為例，41.2%的訓練查詢可以通過歷史上的 1 跳重復路徑得到答案，64.6%的人通過 1 跳重復和非重復路徑得到答案，86.2% 的人通過 1 跳和 2 跳路徑得到答案。
因此提出一個新的模型CluSTeR，包括兩個階段，線索搜索（階段1）和時間推理（階段2）。在階段 1 中，CluSTeR 將線索搜索形成轉換為一個馬爾科夫決策過程 MDP，並用了一種束搜索策略來解決。在階段 2 ，CluSTeR 將階段 1 中發現的線索重新組織成一系列圖，然后使用圖卷積網絡GCN和門控循環單元GRU從圖中推導出准確答案。
CluSTeR Model
1.Notations
- TKG
是實體之間具有時間標記邊的多關系有向圖 
是一個 fact in ， 本文是預測實體 es 或者是 e0
是一條線索路徑，
代表線索中的一跳
2.Model Overview
受人類認知啟發，這倆階段分別對應快思考（直覺）和慢思考（推理）。
3.Stage 1: Clue Searching
階段 1 的目標是搜索和歸納出於給定查詢
相關的線索路徑，可以看成是一個順序決策問題，並由RL系統解決。
3.1 RL System
RL 系統由 agent 和 environment 組成，本文將 RL 系統構建為一個 MDP，這是一個從 agent 和 environment 之間的交互學習中學習以找到有希望的線索路徑框架。從 es 開始，agent通過隨機 beam search 依次選擇出邊，並遍歷新的實體直到達到最大步長 I 。MDP 由下面這些部分組成：
- 狀態
，
是 agent 遍歷到第 i 步的實體，
是上一步所采取措施的時間戳，
在同一查詢的所有狀態里是共享的。 - 與靜態的KG相比，加入了時間這一維度會導致一個大的行動空間，此外，人類的記憶主要集中在最近發生的事件上，因此設置 | ti - ts | ≤ m，前一個動作的時間戳與每個可用動作之間的時間間隔不超過
，| t‘ - ti | < 。因此可能的動作集合
- agent 在搜索結束時會得到一個reward，如果目標實體是正確的目標實體，則 reward = 1，否則為 0.
3.2 Semantic Policy Network
考慮到時間信息建模，論文設計了一個語義策略網絡，根據當前狀態 si 和搜索歷史
來計算所有 action 的概率分布，
，
。The embedding the action 
，
是連接操作。
利用 LSTM 將候選路徑 
編碼成向量 
。
對於每一步 i，action space 都是通過疊加 
中所有的 action 來嵌入編碼的。
使用 
參數化的 MLP 來計算所有 action 的分布
，
，
是 softmax 函數，
是 ReLU 函數，
是階段 1 中所有可學習參數的集合。
3.3 Randomized Beam Search
在 TKGs 中，一個事件的發生可能是由多個因素造成的，因此預測需要多條線索路徑，采用隨機波束搜索。
具體來說，在第 i 步，一個 beam 包含 B 候選線索路徑，對於每個候選路徑，給每個路徑末尾添加最可能的 action（根據公式 3），從而生成一個新的路徑池。然后，要么用概率 μ 選取得分最高的路徑，要么用概率 1-μ 重復地對隨機路徑進行均勻采樣。每個候選路徑的得分
。
4.Stage 2：Temporal Reasoning
為了從不同時間戳的線索事實和並發的線索事實中分別挖掘出更深的時間信息和結構化信息，階段 2 把所有的線索事實重整為一系列的圖
,每個圖
是一個由在時間戳
下的線索事實組成的多關系圖，使用 RGCN 來建模
。
表示在時間戳 j 下在
中實體 o 和 s 各自在第
層的嵌入；
是在第層從不同關系和自循環聚合特征的權重矩陣；
是實體 o 的入度；
在公式 4 下，計算出
的嵌入
，然后連接
交給GRU處理
，然后將 GRU 的輸出
交給 使用
參數化解碼的 MLP 來得到所有實體的最終得分
，
是 sigmoid 激活函數。
最后根據公式 6 的得分對候選實體重新排序。為了獲得到達答案的線索路徑的一個正向反饋，階段 2 給 階段 1 一個波束級的獎勵，這個獎勵等於公式 6 的最終得分。
5. Training Strategy
階段 1 中，波束搜索策略網絡是通過訓練訓練集，使其最大化所有查詢的期望回報，並使用 REINFORCE 算法來優化。
先階段 1 預訓練，然后在階段 2 凍結階段 1 的參數下訓練，最后再聯合訓練階段 1 和 2。
Experiment
傳統的 TKGs ：ICEWS14、 ICEWS05-15、 ICEWS18、GDELT。
數據集： Integrated Crisis Early Warning System (ICEWS)、 Global Database of Events, Language, and Tone (GDELT)
Baseline
和兩類模型比較：
- 靜態KG模型：DistMult、ComplEx、RGCN、 ConvE、RotaE （這種會忽略時間戳信息）
- TKG 推斷模型：MINERVA、the RL-based multi-hop reasoning model
Result
