概率論的鏈式法則

2個事件同時發生的概率：

P(a, b) = P(a | b) * P(b)

其中：P(a, b)表示 a和b事件同時發生的概率， P(a | b)是一個條件概率，表示在b事件發生的條件下，a發生的概率

 

3個事件的概率鏈式調用：

P(a, b, c) = P(a | b, c) * P(b, c)

　　　　  = P(a | b, c) * P(b | c) * P(c)

 

推廣到N個事件，概率鏈式法則長這樣：

P(X1, X2, ... Xn) = P(X1 | X2, X3 ... Xn) * P(X2 | X3, X4 ... Xn) ... P(Xn-1 | Xn) * P(Xn)

 

那這個鏈式法則有什么用處呢？

 

要知道鏈式法則的用處，先要了解一下什么叫事件相互獨立。事件相互獨立就是：一個事件的發生與否，不會影響另外一個事件的發生。

 

當a和b兩個事件互相獨立時，有：

P(a | b) = P(a)

推廣到3個事件就有下面這個公式：

P(a | b, c) = P(a | c)

其中：P(a | b, c)表示在b和c事件都發生的情況下，a事件發生的概率

既然a與b相互獨立，那b就不是a是否發生的條件，a就只與c有關

 

鏈式調用的例子，假設有事件ABCDE，它們之間的關系是這樣的：

所有的事件，只與它們的父節點有依賴關系，其中，E只和B有關，B只和AC有關，D只與C有關，A和C不依賴其他任何事件，

求ABCDE同時發生的概率 P(A, B, C, D, E) 是多少？

答：

P(A, B, C, D, E) = P(E | B, D, C, A) * P(B, D, C, A)

　　　　　　　 = P(E | B, D, C, A) * P(B | D, C, A) *  P(D, C, A)

　　　　　　　 = P(E | B, D, C, A) * P(B | D, C, A) *  P(D | C, A) * P(C, A)

 　　　　　　　= P(E | B, D, C, A) * P(B | D, C, A) *  P(D | C, A) * P(C | A) * P(A)　　

我們根據前面說的相互獨立的事件關系，來分析下最后那個長長的式子：

1. E只與B有關，則 P(E | B, D, C, A) = P(E | B)
2. B只和AC有關，則 P(B | D, C, A) = P(B | C, A)
3. D只與C有關, 則 P(D | C, A) = P(D | C)
4. C與A無關，則 P(C | A) = P(C)

所以最后的式子簡化成了這樣：

P(A, B, C, D, E) = P(E | B) * P(B | C, A) * P(D | C) * P(C) * P(A)

 

內容部分借鑒網易公開課的麻省理工學院公開課：人工智能