條件概率和鏈式法則 conditional probability & chain rule

顧名思義, 條件概率指的是某個事件在給定其他條件時發生的概率, 這個非常符合人的認知:我們通常就是在已知一定的信息(條件)情況下, 去估計某個事件可能發生的概率. 概率論中,用 | 表示條件, 條件概率可以通過下式計算得到
P(Y=y|X=x)=P(Y=y,X=x)P(X=x)
P(Y=y|X=x)=P(Y=y,X=x)P(X=x)
, 即 在 x 發生的條件下 y 發生的概率 等於 x,y 同時發生的聯合概率 除以 x自身的概率. 注意, 必須滿足 P(x)>0P(x)>0, 否則對於永遠不會發生的事情討論條件概率無意義.
基於條件概率, 任意多維隨機變量的聯合分布都可以寫成其中任意一個隨機變量的條件概率相乘的形式
P(x(1),...,x(n))=P(x(1))∏i=2nP(x(i)|x(1),...,x(i−1))
P(x(1),...,x(n))=P(x(1))∏i=2nP(x(i)|x(1),...,x(i−1))
,
具體而言, 對於一個三元分布 :
P(a,b,c)=P(a|b,c)p(b,c)=P(a|b,c)P(b|c)P(c)
P(a,b,c)=P(a|b,c)p(b,c)=P(a|b,c)P(b|c)P(c)
, 這樣通常很難直接得到的 P(a,b,c)P(a,b,c) 就分解為以下三個簡單的情形乘積的形式:
P(c):cP(c):c 發生的概率, 通常已知.
P(b|c):cP(b|c):c 發生的條件下, 觀察到 bb 的概率, 通常從數據中挖出.
p(a|b,c):b,cp(a|b,c):b,c 同時發生的條件下, 觀察到 aa 的概率, 通常從數據中挖出.
獨立性和條件獨立性 independent & conditionally independent
由上面的 joint probability, 滿足下面的條件
∀x∈X,y∈Y,p(X=x,Y=y)=p(X=x)p(Y=y)
∀x∈X,y∈Y,p(X=x,Y=y)=p(X=x)p(Y=y)
, 就表明連個隨機變量之間是沒有相互影響的, 因此, 他們是 相互獨立的(independent). 簡記為 X⊥YX⊥Y, 其實也真的很像垂直正交的關系.
如果 X,YX,Y 在給定條件 Z=zZ=z 時滿足 independent, 即
∀x∈X,y∈Y,z∈Z,p(X=x,Y=y|Z=z)=p(X=x|Z=z)p(Y=y|Z=z)
∀x∈X,y∈Y,z∈Z,p(X=x,Y=y|Z=z)=p(X=x|Z=z)p(Y=y|Z=z)
, 我們就說 隨機變量 XX 和 YY 在給定隨機變量 ZZ時是條件獨立的(conditionally independent), 簡記為 X⊥Y|ZX⊥Y|Z, 幾何上可以看做給定基底ZZ時, X,YX,Y是正交的.
————————————————
版權聲明：本文為CSDN博主「鵝城驚喜師爺」的原創文章，遵循 CC 4.0 BY-SA 版權協議，轉載請附上原文出處鏈接及本聲明。
原文鏈接：https://blog.csdn.net/baishuo8/article/details/82313151