Direct and Indirect Effects
Author: Judea Pearl
UAI 2001 加州大學洛杉磯分校
論文鏈接：https://dl.acm.org/doi/pdf/10.5555/2074022.2074073
本文鏈接：https://www.cnblogs.com/zihaojun/p/15715903.html
前言
Judea Pearl是圖靈獎得主，因果推斷的奠基人之一。由於閱讀的論文中涉及到反事實推斷中Total Effect(TE), Natural Direct Effect(NDE), Total Indirect Effect(TIE)等概念，涉及到反事實推斷方法的核心，因此前來拜讀一下Pearl老爺子二十年前發表的這篇論文。
這篇文章比較硬核，挺難讀的，有需求的同學可以先收藏一波，高能預警~~
1. Introduction
一個變量對另一個變量的直接效應（direct effect)可以通過控制其他變量（中介變量、其他因變量等）的值來確定，但是在非線性模型中，間接效應（indirect effect）是不能用這種方式得到的，在這種條件下，間接效應甚至還沒有明確定義。
2. 概念性分析
2.1 直接效應 VS. 總體效應
直接效應（direct effect）：直接效應是指，如果保持其他所有變量都不變，只改變X的值（例如從\(X=x^*\)到\(X = x\)，則Y的值發生多少變化。
- 例如，X表示性別，Y表示是否雇佣，當其他所有變量（品質、資歷、技能等）都不變，只改變性別時，雇佣決定是否會發生改變。這個結果可以用來衡量是否有性別歧視，即性別對雇佣決定的直接影響，而不是通過其他中介變量的間接影響。
- 再例如，有一個葯品A，會產生頭痛的副作用。所以患者就會吃阿司匹林來緩解疼痛，而阿司匹林的服用劑量又會對葯品A的治療效果產生影響。
- 如果我們要考慮整體的治療效果，那就不考慮患者吃沒吃阿司匹林，或者說阿司匹林帶來的效果也是服用葯品A間接帶來的。服用\(x\)和\(x^*\)劑量的葯品A帶來的總體治療效果為 \(P(Y_x = y)- P(Y_{x^*} = y)\)
- 如果要考察葯品A對治療的直接貢獻，也就是要去除“葯品A\(\rightarrow\)頭痛\(\rightarrow\)服用阿司匹林\(\rightarrow\)影響治療效果”這條因果路徑，只考慮葯品A\(\rightarrow\)治療效果這條路徑，那就要控制阿司匹林的用量。在服用阿司匹林劑量為z的情況下，服用\(x\)和\(x^*\)劑量的葯品A帶來的直接治療效果為 \(P(Y_{xz} = y)- P(Y_{x^*z} = y)\)
當考察一個線性系統時，直接效應可以直接通過變量前面的系數得到，中介變量的具體取值沒有影響。但是當考察非線性系統時，中介變量的取值也會影響到直接效應的觀測結果，因此需要仔細考慮。
2.2 描述性效應和規定性效應
（這個概念我還是第一次聽說，主要是關於干預控制變量時，中介變量的取值問題。之前沒有理解到，非線性系統中，其他變量的取值對因果效應的影響。）
描述性效應（Descriptive effect）指的是，不對中介變量的值做干預，保持其在自然狀態下的取值，此時實施干預帶來的因果效應。又稱為自然效應（natural effect）
規定性效應（Prescriptive effect）指的是，用預定義的值來替換中介變量的值，改變其在自然狀態下的取值，此時實施干預帶來的因果效應。又稱為控制效應（controlled effect）
-
例如，在2.1中提到的阿司匹林和葯品A的例子中
- 描述性效應指的是，如果病人保持吃葯之前服用阿司匹林的劑量（自然劑量），且開始服用葯品A，病人的狀況會好轉嗎？（自然直接因果效應）
- 規定性效應指的是，如果病人服用阿司匹林的劑量為z（一個人為規定的量），則病人服用葯品A是否會對病人的狀況帶來改善？（控制直接因果效應）
-
如果一個病人，只有在吃葯品A的時候才會吃阿司匹林，而只有吃阿司匹林的時候，服用葯品A才有治療效果。在這種情況下：
- 服用葯品A對於該病人的康復是沒有自然直接因果效應（natural direct effect）的。
- 但是服用葯品A對於該病人的康復有控制直接因果效應（controlled direct effect）。
-
在研究自然效應的時候，需要知道病人在自然狀態下，服用阿司匹林的劑量，而研究控制效應的時候不需要知道這個信息。
這兩個概念的區別在實際人群中觀測平均因果效應的時候是很重要的。
- 規定性效應要更實際一些。
- 例如還是在上述例子當中：
- 規定性效應的觀測只需要給所有病人規定阿司匹林的用量即可
- 但描述性效應需要知道每個病人在自然狀態下的阿司匹林用量，並分別進行控制。
- 描述性效應（自然效應）還有一個嚴重的問題，要得到自然效應，需要分別觀測同一批人在服葯時和不服葯時的情況，而對同一批人做兩次實驗是很困難的。在后文3.4部分，會介紹估計平均自然直接效應所需的額外假設。
2.3 自然效應對策略制定的意義
- 在葯物和阿司匹林的例子中，葯廠如果想要去除葯物的副作用（頭痛），需要考慮到，去除副作用后，患者服葯后的阿司匹林用量就會比現在少，葯物的治療效果將只剩下現在葯品對康復的自然直接因果效應。因此，估計自然直接因果效應是很重要的。
在估計自然直接因果效應的時候，需要使病人維持服葯前的阿司匹林服用量，這種限制並不是do算子可以描述的，而是在不干預阿司匹林用量的情況下，斷開了服葯和阿司匹林服用量之間的因果路徑。
后文會介紹如何用一種標准的方法處理這種情況。
2.4 自然間接效應
自然直接效應的概念可以被泛化到自然間接效應，但是規定直接效應無法這樣泛化，因為規定效應已經把中介路徑阻斷了，無法衡量間接效應。
- 在葯物和阿司匹林的例子中，自然間接效應是指，在患者服葯的情況下，阿司匹林服用量 從 服葯前的量 變化到 服葯后因為頭痛加大后的量，治療效果有什么變化？
3. 正式分析
3.1 符號
- X代表控制變量，即需要研究X對其他變量的因果效應。
- 一般用\(x^*\)表示干預之前的取值，\(x\)表示干預之后的取值。
- Y代表結果變量。
- Z代表X和Y之間所有中介變量組成的集合，也可能包含Y除X之外的父節點。
- 反事實符號\(Y_x(u)\)表示在\(do(X=x)，U = u\)的情況下，Y的取值。
3.2 控制直接效應
【Definition 1】（Controlled unit-level direct-effect; qualitative 個體控制直接效應，存在性定義） 在因果模型M中，如果在U=u的情況下，存在一組模型中其他變量的取值Z=z和X的兩個取值\(x,x^*\)，使得
則稱\(X=x\)這個事件（以\(X=x^*\)為參考點）對Y有控制直接效應。
【Definition 2】（Controlled unit-level direct-effect; quantitative 個體控制直接效應，定量）給定一個因果模型M和一個因果圖G，在U=u和Z=z的條件設置下，\(X=x\)對Y的因果效應為：
其中Z代表在G中，除X外，Y的所有父節點。
【Definition 3】（Average contrilled direct effect，平均控制直接效應）給定一個概率因果模型\(<M, P(u)>\)，\(X=x\)對Y的控制直接效應被定義為：
3.3 自然直接效應：定義
正如第二部分已經分析過的，自然效應和控制效應最大的區別，就是沒有給Z人為賦值，而是使Z保持干預之前的值，相當於刪去X到Z的因果路徑，但是不對Z的值做干預，這是do算子無法表達的。
【Definition 4】（Unit-level natural direct effect; qualitative 個體自然直接效應；存在性定義）在U=u的條件下，如果
則稱事件X=x對Y有自然直接效應。也就是說，\(X\)從\(x^*\)變成\(x\)，同時保持\(Z\)還是\(X=x^*\)時的取值，如果此時Y的值發生了變化，則有自然直接效應。
【Definition 4.5】（unit-level natural direct effect; quantitative 個體自然直接效應；定量定義）在U=u的條件下，事件X=x對Y的自然直接效應大小為：
【Definition 5】（Average natural direct effect，平均自然直接效應）事件X=x對Y的平均自然直接效應為：
3.4 自然直接效應：識別
從觀測數據中，無法直接估計自然直接效應，換句話說，自然直接效應無法被直接轉化為統計量。
文中給出了識別自然直接效應所需的條件，還沒看懂。。orzzzz
3.5 自然間接效應：定義
控制效應只有直接效應，沒有間接效應。因此間接效應就只有自然間接效應。
【Definition 6】（Unit-level indirect effect; qualitative，個體間接效應，存在性定義）如果在U=u的條件下，
則認為一個事件X=x對Y有間接效應。間接效應大小為：
- \(X=x^*\)不變的條件下，\(Z\)從自然值變為\(Z_x(u)\)，此時Y的值發生了改變，這種改變是X導致的Z的變化帶來的。
【Definition 7】（Average indirect effect，平均間接效應）事件X=x對Y的平均間接效應為：
【Theorem 3】綜合以下等式：
可知，無論是線性還是非線性模型中，總體、直接和間接效應都遵循如下關系：
在線性系統中，有：
- 要特別注意，上式只適用於線性模型，另一篇最新的文章給出了定量分析，詳見【因果推斷論文】中國新冠死亡率更高？ - 新冠死亡率的辛普森悖論中的4.7部分和5.2部分。
3.6 自然間接效應：識別
容我過段時間來補上3.4和3.6兩部分 TAT
3.7 General Path-specific Effects
（emmm這個標題沒翻譯出來）
例如我們要得到\(X\rightarrow Z\rightarrow W \rightarrow Y\)這條路徑的因果效應，方法就是通過去除其他\(X\rightarrow Y\)的因果路徑，如Figure 3(b)。
4. 結論
這篇文章提出了一種新的路徑相關因果效應的定義，通過對路徑進行操作，達到了do算子無法表達的效果，將直接效應和間接效應的定義范圍擴展到了非線性模型。本文還給出了通過實驗數據和非實驗數據來識別直接和間接因果效應的條件。通過定義和計算直接和間接效應，可以回答傳統方法無法回答的政策問題，為更好的決策提供理論工具支撐。
相關文章
[1] J.M. Robins and S. Greenland. Identifiability and exchangeability for direct and indirect effects. Epidemiology, 3(2):143-I55, 1992
[2] von Kügelgen J, Gresele L, Schölkopf B. Simpson's paradox in Covid-19 case fatality rates: a mediation analysis of age-related causal effects[J]. IEEE Transactions on Artificial Intelligence, 2021, 2(1): 18-27.
[3] Wei T, Feng F, Chen J, et al. Model-agnostic counterfactual reasoning for eliminating popularity bias in recommender system[C]//Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining. 2021: 1791-1800.
[4] Wang W, Feng F, He X, et al. Clicks can be cheating: Counterfactual recommendation for mitigating clickbait issue[C]//Proceedings of the 44th International ACM SIGIR Conference on Research and Development in Information Retrieval. 2021: 1288-1297.