- 條件概率:
\(\text{x}=x\) 事件發生時 \(\text{y}=y\) 事件發生的概率:
\[P(\text{y}=y|\text{x}=x)=\frac{P(\text{x}=x,\text{y}=y)}{P(\text{x}=x)} \]
- 條件概率的鏈式法則
也稱為條件概率的乘法法則
\[\begin{aligned} P(a,b,c) &= P(a|b,c)P(b,c) \\ &= P(a|b,c)P(b|c)P(c) \end{aligned} \]
- 推廣到一般情況有:
\[\begin{aligned} P(\text{x}^{(1)},\text{x}^{(2)},\cdots,\text{x}^{(n)}) &= P(\text{x}^{(n)}|\text{x}^{(n-1)},\cdots,\text{x}^{(1)})P(\text{x}^{(1)},\cdots,\text{x}^{(n-1)})\\ &=P(\text{x}^{(n)}|\text{x}^{(n-1)},\cdots,\text{x}^{(1)})P(\text{x}^{(n-1)}|\text{x}^{(n-2)},\cdots,\text{x}^{(1)})P(\text{x}^{(1)},\cdots,\text{x}^{(n-2)})\\ &=P(\text{x}^{(n)}|\text{x}^{(n-1)},\cdots,\text{x}^{(1)})P(\text{x}^{(n-1)}|\text{x}^{(n-2)},\cdots,\text{x}^{(1)})\cdots P(\text{x}^{(2)}|\text{x}^{(1)})P(\text{x}^{(1)})\\ &=P(\text{x}^{(1)})\prod_2^nP(\text{x}^{(i))}|\text{x}^{(1)}\cdots\text{x}^{(i-1)}) \end{aligned} \]
通俗點講，條件概率的鏈式法則可以如下理解：
以 \(P(\text{x}^{(1)},\text{x}^{(2)},\cdots,\text{x}^{(n)})\) 為例，可以看作 \(P(\text{x}^{(1)})\) 發生后，\(P(\text{x}^{(2)}|\text{x}^{(1)})P(\text{x}^{(1)})\) 是\(\text{x}^{(1)},\text{x}^{(2)}\) 同時發生的概率，\(P(\text{x}^{(3)}|\text{x}^{(1)},\text{x}^{(2)})P(\text{x}^{(2)}|\text{x}^{(1)})P(\text{x}^{(1)})\) 是 \(\text{x}^{(1)},\text{x}^{(2)},\text{x}^{(3)}\) 同時發生的概率，依次類推下去，便可以得到條件概率的鏈式法則公式。
參考資料：Deep Learning 3.5