論文閱讀：ExCAR: Event Graph Knowledge Enhanced Explainable Causal Reasoning

ExCAR: 事件圖知識增強的可解釋因果推理

Abstract

Prior work infers the causation between events mainly based on the knowledge induced from the annotated causal event pairs. However, additional evidence information intermediate to the cause and effect remains unexploited. By incorporating such information, the logical law behind the causality can be unveiled, and the interpretability and stability of the causal reasoning system can be improved. To facilitate this, we present an Event graph knowledge enhanced explainable CAusal Reasoning framework (ExCAR). ExCAR first acquires additional evidence information from a large-scale causal event graph as logical rules for causal reasoning. To learn the conditional probabilistic of logical rules, we propose the Conditional Markov Neural Logic Network (CMNLN) that combines the representation learning and structure learning of logical rules in an end-to-end differentiable manner. Experimental results demonstrate that ExCAR outperforms previous state-of-the-art methods. Adversarial evaluation shows the improved stability of ExCAR over baseline systems. Human evaluation shows that ExCAR can achieve a promising explainable performance.

　　前人的研究工作主要是基於從標注的因果事件中對歸納出的知識來推斷事件之間的因果關系。然而，對因果關系其中介作用的其他證據信息仍未被利用。通過整合這些信息，可以揭示因果關系背后的邏輯規律，提高因果推理系統的可解釋性和穩定性。為此，論文提出了一個事件圖知識增強的可解釋因果關系推理的框架 ExCAR ，ExCAR 從大規模因果事件圖中獲得額外的證據信息，作為因果推理的邏輯規則。論文提出條件馬爾科夫神經邏輯網絡（CMNLN），來學習邏輯規則的條件概率，實驗結果表明性能有所進步。

 

Introduction

　　因果推理旨在理解因果之間的一般因果依賴關系。以往的研究工作主要是從手工標注的因果事件對中學習因果知識，盡管取得了較好的表現，但這些工作沒有了解潛在的因果機制，因此他們的推理模型不夠穩定，結果無法解釋。

Figure 1

• 在（a）中，如果沒有證據 i₁ 流動性過剩， i₂ 投資需求上漲，很難揭示 a 量化寬松政策與 b 房價上漲之間隱含的因果關系；

量化寬松（Quantitative Easing，簡稱QE）是指中央銀行在實施零利率或者接近零利率政策后，通過購買國債等中長期債券，增加基礎貨幣供給，向市場注入大量流動性資金的干預方式，以鼓勵貸款和投資，因此量化寬松也被認為是“央行間接印錢”。

• 在（b）中，如果沒有中間事件 i 流動性過剩，那么無法從已知的因果關系<a, b>和<c, d>來推斷出<a, d>和<c, b>。相反則能從邏輯鏈<a ⇒ i ⇒ b>和<c ⇒ i ⇒ d>自然地觀察到 <a ⇒ i ⇒ d> 和 <c ⇒ i ⇒ b>
• 在（c）中，論文提出的 ExCAR 框架，對於輸入的事件對 <C, E>, 首先從CEG（論文作者自己構建的一個因果知識庫）中檢索到外部證據事件 i₁ 和 i₂ 並定義 C，i₁ ，i₂ ，E 之間的因果關系作為一組邏輯規則，這些規則對因果推理任務是有用的表示，因為它們是可解釋的且推斷結果是可見的。
• 在（d）中，Pearl(2001) 指出因果關系的內在邏輯是一種邏輯概率，但這種概率（即因果對的因果強度CS-causal strength）是不確定的，其概率會隨着前因變量的不同而不同。例如 (d) 中感冒引起的發燒一般不會導致生命危險，而如果是由敗血症引起的發燒，它導致生命危險的概率很高

　　為了解決概率問題，論文提出了條件馬爾科夫神經邏輯網絡 CMNLN 。

 

Background & Method

 

1.Task Formalization

　　論文將 COPA（ Choice of Plausible Alternatives）和 C-COPA 因果推理任務都定為多選擇任務。

Example:
Premise : The company lost money.
Ask-for : Cause.
Hypothesis 1 : Its products received favorable comments.
Hypothesis 2 : Some of its products were defective.

　　如示例，將因果推理任務形式化為了一個預測問題：給定一個前提事件和一個假設事件組成的因果事件對<C, E>，用預測模型來預測衡量事件對因果關系的得分。

2.Causal Event Graph

　　CEG 是作者構建的大規模因果知識庫，可以從中檢索到特定因果事件對 <C, E>的額外證據。CEG 是一個有向無環圖，頂點代表事件，邊代表因果關系。

　　為了從 CEG 中獲取證據，首先要在 CEG 中找到因果關系。直覺上，語義上相似的事件會有相似的原因和結果，在 CEG 中會在相似的位置。論文使用預訓練語言模型ELMo來推斷 CEG 中事件的語義表征，以及因果事件。然后利用語義表示的余弦相似度，在 CEG 中找到與輸入因果事件語義相似的事件。這些事件可以作為定位因果事件的錨點，以圖2所示，以原因事件的錨點為起點，以結果事件的錨點為終點，采用 BFS 檢索證據事件。檢索完成之后，cause，effect and evidence events 構成了一個因果邏輯圖 CLG。

3.Rule-based Reasoning Using Markov Logic Network

　　為了提高因果推理的可解釋性和穩定性，論文將因果推理問題轉換為了基於規則的推理任務。具體來說，輸入一個因果事件對<C, E>，然后加上從 CEG 中檢索出一組證據事件，它們進一步形成一組因果邏輯規則，這個規則描述了兩個事件間的因果關系。通過這些因果邏輯規則，可以揭示因果機制，並以可解釋的方式進行因果推理。

　　因果邏輯潛在的邏輯是一種概率邏輯。馬爾科夫邏輯網絡 MLN 可以通過給每個因果規則分配一個因果強度來模擬這種不確定性，因果強度 CS 可以作為衡量因果邏輯規則成立的概率。

　　設 P ( r_i ) 為規則 r_i 的因果強度 ，φ( r_i ) 為勢函數，Y 為因果關系得分，Z是一個標准化常數，則有聯合分布：

　　但直接使用 MLN 不能模擬規則的前因影響。因此論文提出了一種基於邏輯規則嵌入空間的條件馬爾科夫神經邏輯網絡，用於建模規則的條件因果強度。

　　將先行詞記為 ANTE_i ，則受某一先行詞的影響，這個規則的因果強度為 P ( r_i | ANTE_i )。如圖2所示，從 CLG 得到的一條規則可能有多個先行詞，而這些先行詞都可以對規則的因果強度產生影響。

　　CMNLN 將 CLG 視為由不同的因果邏輯鏈 {ρ¹，···，ρ^m}組成，並結合各因果邏輯鏈的信息預測因果得分。從而在每個因果邏輯鏈中，使用先驗感知的勢函數，對每個規則 r^j_k ∈ ρ^j 的因果強度進行評估，然后將鏈內因果信息和鏈間因果信息進行聚合，得到因果得分。

3.1 Logic Chain Generation

　　描述了邏輯鏈 ρ^j 的一系列從原因事件 C 開始到結果事件 E 為止的傳遞因果邏輯規則， 規則由一系列事件構成，其中 為原因事件C，為結果事件 E，利用深度優先搜索 DFS 枚舉出 CLG 中所有的因果邏輯鏈。

3.2 Event Encoding

　　采用基於 BERT 的編碼器，將每個邏輯鏈中的所有事件都分布式嵌入編碼。將事件序列處理為這種形式，然后將事件序列交給 BERT。在每個事件之前定義 [CLS] token 的最終隱藏狀態作為相應事件的表示。這樣就獲得了事件嵌入集 。

3.3 Chain-specific Conditional Causal Strength Estimation

　　用來表示規則的先行詞，然后用先驗勢函數來計算特定鏈的因果強度。

　　表示 ， 模擬先行詞的影響，使用 MLP 來提取

　　代表連接操作， W 是相應的權重矩陣，用來模擬先行詞的影響。

　　然后計算規則條件因果強度

　　整個過程是遞歸的：

3.4 Intra-Chain Information Aggregation

　　鏈的因果強度並進行歸一化：

3.5 Aggregating Chain-level Information for Predicting Causality Score

　　通過鏈級因果信息來獲得因果得分 Y，直覺上，一個因果邏輯鏈的因果強度 CS 越強，對 Y 的影響就越大。因此，利用線性組合來聚集鏈級信息：

　　u 就是提取的最終狀態信息，Y 由此得到：

3.6 Training

　　在訓練過程中，為了提高條件因果強度估計的可靠性，還引入了因果邏輯驅動的負采樣。

　　因為因果關系是單向的，根據 CLG 中存在的規則 ，可以推導出相應的假規則，再生成相應錯誤的先行詞。因此在理想情況下，這些錯誤規則的 CS = 0。更進一步通過級聯關系可推出。通過對錯誤規則進行采樣，訓練錯誤規則的勢函數為0。

　　對於這個負采樣過程，CMNLN 的損失函數為：

 

Experiments

　　為了評估 ExCAR 框架的穩健性，還建立了一個額外的中文常識因果推理數據集 C-COPA 。這個數據集建立在大規模人工注釋網絡新聞語料庫 SogouCS上。

　　CEG 圖是從CausalBank Corpus中獲取3.14億英文的因果事件對，而中文因果事件對則是從2018-2019年從多個網站抓取收集整理的。二者各取150萬對

 

Related Work & Conclusion

　　可解釋性是文本推理系統長期追求的目標，因為它可以幫助揭示黑箱模型的決策機制，並增強推理的穩定性，特別是在金融和醫療領域。前人的研究方向主要分為兩大類：生成可解釋信息和設計自解釋機制。

　　除了與任務相關的信息外，自動生成的文本解釋有助於證明模型的可靠性。例如 Nie et al（2019，ACL）訓練多任務模型，學習文本蘊含推理生成解釋。另一方面，與純數據驅動方面相比，引入相關的外部知識不僅可以提高模型性能，而且有助於理解模型的行為（Wang et al.,2019b）。

　　另一項工作是設計自解釋模型，以揭示模型的推理過程。注意力機制被設計來明確地衡量輸入文本特征的相對重要性。因此被廣泛用於增強深度神經模型的可解釋性。 在本文中，為了以一種可解釋的方式進行因果推理，論文提出從預先建立的因果事件圖中歸納出一組邏輯規則，並顯式地建立每個邏輯規則的條件因果強度模型，概率邏輯規則可以為解釋預測結果提供線索。

 

Reference & Recommend

Yixin Nie, e.t. 2019. Adversarial nli: A new benchmark for natural language understanding . arXiv preprint arXiv:1910.14599.

Xiang Wang e.t. 2019b. Explainable reasoning over knowledge graphs for recommendation. InProceedings of the AAAI Conference on Artificial Intelligence, volume 33, pages 5329–5336.