©原創作者 | 朱林
01 介紹
一個普通的知識圖譜只擁有某一時刻的靜態事實，常見表示為圖的形式，如圖1所示，包含了實體e（圓）及其關系r（箭頭）。
圖1 知識圖譜示意圖
目前快速增長的數據往往表現出復雜的時間動態特性，可以描述為時序知識圖譜（Temporal Knowledge Graphs, TKG），其是在知識圖譜的基礎上加上了時間信息t。
TKG已經廣泛運用於許多不同的領域，具有代表性的TKG數據集包括全球事件、語言和語氣數據庫（Global Database of Events, Language, and Tone, GDELT）和綜合危機預警系統（Integrated Crisis Early Warning System, ICEWS）等等。
圖2展示了ICEWS系統的一個外交活動記錄子圖。
圖2 ICEWS外交活動記錄子圖
TKG的預測問題是在已知過去的歷史線索信息（實體及關系在時間上的序列）下推斷未來某一潛在事實或事件。
那人類是如何預測未來事件的呢？根據心理學著名的雙重過程理論，人類首先是搜索海量記憶，直觀地找到一些相關的歷史信息（即線索）。
圖3 受人類認知啟發的推理過程示意圖關系
如圖3左側所示，人們需要根據之前線索預測2020年12月23日COVID-19在哪里出現新病例，可以描述為回答查詢: (COVID-19, New medical case occur, ?, 2020-12-23)中的?。
其中，找到至關重要的線索有：
1）與查詢有相同關系的一跳（1-hop）路徑（去除時間信息后直接關聯實體和關系）。例如(COVID-19，New medical case occur, Shop)；
2）與查詢有不同關系的一跳路徑，例如(COVID-19, New suspected case occur, Bank)；
3）二跳路徑，例如(COVID-19, Diagnose-1, The man, Go to, Police station)。其中Diagnose-1表示Diagnose反關系。
人們從他們的記憶中回憶起這些線索，並給出一些直觀的候選答案。然后，人們通過深入挖掘線索的時間信息，進行細致的推理過程，得到准確的答案。
如圖3右側所示，該男子比確診COVID-19的時間早了兩個多月去派出所，這表明派出所可能不是答案。所以得出答案為商店。
現有模型主要關注上述第二個過程，但輕視了第一個過程。因此，本文作者提出CluSTeR模型，以兩階段的方式來預測未來，包括線索搜索（Clue Searching）和時序推理（Temporal Reasoning）。
具體而言，在線索搜索階段，CluSTeR將線索搜索過程形式化為馬爾可夫決策過程（MDP）並通過學習Beam Search策略來求解。
在時序推理階段，CluSTeR將在前一階段找到的線索重新組織成一系列圖，然后使用圖卷積網絡（GCN）和門控循環單元（GRU）從圖中推斷出准確的答案。
在四個數據集上的實驗證明了CluSTeR模型與目前最先進的方法相比有巨大優勢。此外，CluSTeR模型發現的線索可以進一步為推理結果提供可解釋性。
02 CluSTeR模型
符號定義
模型概述
圖4 CluSTeR模型的說明圖
如圖所示，該模型由兩個階段組成，線索搜索和時序推理。具體而言，第一階段主要側重於在時序限制下搜索與給定查詢相關的組合語義信息的線索路徑。
然后，提供線索路徑和隨之生成的候選實體用於第二階段的推理。
第二階段主要側重於對線索事實之間的時序信息進行建模，並得到最終結果。
在CluSTeR模型中，這兩個階段在訓練階段相互作用，在推斷階段共同決定最終答案。
第一階段：線索搜索
強化學習系統
作者將第一階段視為一個順序決策問題，由強化學習系統解決。
作者的強化學習系統采用的是馬爾可夫決策過程（MDP），這是一個從Agent和Environment之間的交互中學習以找到B條有希望線索路徑的框架。由以下部分組成：
語義策略網絡
Randomized Beam Search
在TKG的場景中，一個事實的發生可能是由多種因素造成的。因此，預測需要多條線索路徑。此外，第一階段的候選應該盡可能多地找到正確的答案。
因此，作者采用Randomized Beam Search作為Agent的動作采樣策略，它按順序向Beam Search注入隨機噪聲增加Agent的探索能力。
訓練時通過最大化訓練集中所有查詢的預期獎勵來訓練Beam Search策略網絡，如以下公式所示：
第二階段：時序推理
為了更深入地了解不同時間戳的線索事實之間的時間信息以及並發線索事實之間的結構信息，第二階段將所有線索事實重組為一系列圖
其中每個
是一個多關系圖，
由時間戳
處的線索事實組成。
作者使用w層RGCN進行建模,
並將
的串聯
（第二階段中
的嵌入）送入GRU，
GRU的最終輸出，表示為
，
被送入一個用
參數化的MLP解碼器，
以獲得所有實體的最終分數，即：
其中
是sigmoid激活函數。
最后，作者對候選實體重新排序得到結果。
訓練時，作者使用交叉熵定義目標函數，
如以下公式所示：
03 實驗
推理結果
表1 與靜態模型（上）和時序模型（下）相比，TKG推理的實驗結果（百分比）
TKG推理的結果如表1所示。CluSTeR在所有ICEWS數據集上的表現始終優於基線。特別是在ICEWS14上，CluSTeR甚至在最佳基線上各個指標上實現了巨大的改進。
具體分析來看，CluSTeR顯著優於靜態模型是因為它捕獲了一些重要歷史的時間信息。而性能明顯優於那些時序模型，則是因為它專注於更重要的線索，對更長的歷史線索進行建模，采用了強化學習以找到更明確可靠的線索。
消融研究
表2 CluSTeR的不同變體在所有數據集上的結果（百分比）
表2顯示消融研究的結果，前兩行展示了僅使用第一階段模型的結果，其中最大步長I分別設置為1和2。
可以觀察到，僅使用第一階段時結果會變差，因為忽略了事實之間的時間信息。
第三行顯示了僅使用第二階段提取的一跳重復線索作為輸入的結果，所有ICEWS數據集的結果都會變差，這表明僅重復線索不足以進行預測。
對於GDELT，只有第二階段達到了最好的結果，這是因為在第二階段中只使用最直接的重復線索可以減輕抽象概念產生噪聲的影響。
04 結論
在本篇論文中，作者從人類認知的角度提出了一個兩階段模型，命名為CluSTeR，用於TKG推理。
CluSTeR模型由基於RL的線索搜索階段和基於GCN的時序推理階段組成。
在第一階段，CluSTeR從歷史中找到可靠的線索路徑，並通過RL生成直觀的候選實體。
第二階段，以找到的線索路徑為輸入，將線索路徑導出的線索事實重組為一系列圖，並對其進行推導得到答案。
通過這兩個階段，該模型在TKG推理上表現出巨大的優勢。
私信我領取目標檢測與R-CNN/數據分析的應用/電商數據分析/數據分析在醫療領域的應用/NLP學員項目展示/中文NLP的介紹與實際應用/NLP系列直播課/NLP前沿模型訓練營等干貨學習資源。