聯合概率、邊緣概率、條件概率之間的關系&貝葉斯公式


這次主要介紹的是多個隨機變量之間的關系,主要涉及聯合概率,邊緣概率,條件概率這三種關系,還有一個利用他們之間關系導出的非常重要的公式:貝葉斯公式

1.聯合概率
聯合概率指的是包含多個條件且所有條件同時成立的概率,記作P(X=a,Y=b)或P(a,b),有的書上也習慣記作P(ab),但是這種記法個人不太習慣,所以下文采用以逗號分隔的記法。

一定要注意是所有條件同時成立!

2.邊緣概率
邊緣概率是與聯合概率對應的,P(X=a)或P(Y=b),這類僅與單個隨機變量有關的概率稱為邊緣概率

3.聯合概率與邊緣概率的關系
 P(X=a)=∑bP(X=a,Y=b) P(X=a)=∑bP(X=a,Y=b)
 P(Y=b)=∑aP(X=a,Y=b) P(Y=b)=∑aP(X=a,Y=b)
求和符號表示窮舉所有Y(或X)所能取得b(或a)后,所有對應值相加得到的和

4.條件概率
條件概率表示在條件Y=b成立的情況下,X=a的概率,記作P(X=a|Y=b)或P(a|b),它具有如下性質:
“在條件Y=b下X的條件分布”也是一種“X的概率分布”,因此窮舉X的可取值之后,所有這些值對應的概率之和為1即:
 ∑aP(X=a|Y=b)=1 ∑aP(X=a|Y=b)=1
5.聯合概率、邊緣概率與條件概率之間的關系
 P(X=a|Y=b)=P(X=a,Y=b)P(Y=b) P(X=a|Y=b)=P(X=a,Y=b)P(Y=b)
為了方便理解這個式子,可以將概率轉化為面積:

聯合概率P(X=a,Y=b)
滿足X=a且Y=b的面積
邊緣概率P(X=a)
不考慮Y的取值,所有滿足X=a的區域的總面積
條件概率P(X=a|Y=b)
在Y=b的前提下,滿足X=a的面積(比例)


通過以上示例,稍加計算這三種概率之間的關系便可一目了然

6.條件聯合分布的分解
我們可以根據具體情況,像下面這樣靈活的分解條件聯合分布

 P(X=a,Y=b|Z=c)=P(X=a|Y=b,Z=c)P(Y=b|Z=c) P(X=a,Y=b|Z=c)=P(X=a|Y=b,Z=c)P(Y=b|Z=c)
這只是一個例子,作為啟發,類似的分解方法可以根據實際情況不同而進行不同的分解。為了大家可以有效掌握這種方法,建議自己從式子左側根據上面三種概率的關系式進行一遍推導。

再給大家留一個看起來非常復雜的式子,大家可以自己試試看能否從左側推導至右側


7.貝葉斯公式
說了那么多,終於到大boss了,貝葉斯公式!但是,先別急,需要先引入兩個概念

先驗概率:知道原因推結果的,P(原因)、P(結果|原因)等
后驗概率:根據結果推原因的,P(原因|結果)等
貝葉斯公式解決的是一些原因X無法直接觀測、測量,而我們希望通過其結果Y來反推出原因X的問題,也就是知道一部分先驗概率,來求后驗概率的問題。

舉個栗子:

打到怪物就能獲得寶箱,但是寶箱有2/3的概率是陷阱,玩家可以通過魔法來檢查,但是有1/4的誤判概率,問:假設玩家利用魔法判定此寶箱沒有陷阱,求寶箱有陷阱的概率

我們已知的先驗概率有

P(有陷阱)=2/3;P(沒有發現|有陷阱)=1/4;P(發現了|沒有陷阱)=1/4

要求的后驗概率為

P(有陷阱|沒有發現)

我們依舊使用面積來幫助我們解題,根據已知划分出的面積情況如下圖所示


我們可以推得:

 P(有陷阱|沒有發現)=P(有陷阱,沒有發現)P(沒有發現) P(有陷阱|沒有發現)=P(有陷阱,沒有發現)P(沒有發現)
 P(沒有發現)=P(沒有發現|有陷阱)P(有陷阱)+P(沒有發現|沒有陷阱)P(沒有陷阱) P(沒有發現)=P(沒有發現|有陷阱)P(有陷阱)+P(沒有發現|沒有陷阱)P(沒有陷阱)
聯立兩式我們就可以得到一個由已知條件求P(有陷阱|沒有發現)的式子

 P(有陷阱|沒有發現)=P(有陷阱,沒有發現)P(沒有發現|有陷阱)P(有陷阱)+P(沒有發現|沒有陷阱)P(沒有陷阱) P(有陷阱|沒有發現)=P(有陷阱,沒有發現)P(沒有發現|有陷阱)P(有陷阱)+P(沒有發現|沒有陷阱)P(沒有陷阱)
這就是對應於此題的貝葉斯公式。它的的一般形式如下:

其中“…”的部分需要列出X所有可能的值,並求和。

在記憶貝葉斯公式時,很容易搞錯豎線左右兩側的值,因此建議大家在習慣使用貝葉斯公式時,最好先根據定義與性質當場推導,而不要僅僅憑記憶默寫。

————————————————
版權聲明:本文為CSDN博主「tick_tokc97」的原創文章,遵循CC 4.0 BY-SA版權協議,轉載請附上原文出處鏈接及本聲明。
原文鏈接:https://blog.csdn.net/tick_tock97/article/details/79885868


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM