共軛先驗(conjugate prior)


共軛是貝葉斯理論中的一個概念,一般共軛要說是一個先驗分布與似然函數共軛;
那么就從貝葉斯理論中的先驗概率,后驗概率以及似然函數說起:
在概率論中有一個條件概率公式,有兩個變量第一個是A,第二個是B ,A先發生,B后發生,B的發生與否是與A有關系的,那么我們要想根據B的發生情況來計算 A發生的概率就是所謂的后驗概率P(A|B)(后驗概率是一個條件概率,即在B發生的條件下A發生的概率)計算公式是P(A|B)=P(AB)/P(B),而又有乘法公式P(AB)=P(A)P(B|A),這里的P(A)稱為先驗概率,它是先發生的,也可以是人為假定的,但是通常是不能通過訓練樣本直接統計得出的,所以我們的需要利用后驗概率來求取先驗概率,也就是通常意義上的由果推因。后驗概率是在新的樣本加入之后得到的,有更多的事實作為參考,進而對先驗進行修正。似然函數則是指P(B|A),也是一個條件概率,是指在先驗發生的條件下后驗發生的可能性,是一種正向推理的過程,通常是模型參數的函數。
即P(A|B)=P(A)P(B|A)/P(B),中P(A)稱為先驗概率,P(B|A)似然函數,P(A|B)后驗概率。
三者的關系:
后驗概率正比於先驗概率與似然函數的乘積
Posterior probability∝Likelihood×Prior probability
在使用中我們用 p(θ) 表示概率分布函數,用 p(x|θ) 表示觀測值 x 的似然函數。
后驗概率定義如下: p(θ|x)=p(x|θ)p(θ)/p(x)

下面來談共軛

現在假設我們有這樣幾類概率: p(θ)(先驗分布),p(θ|x)(后驗分布), p(X), p(X|θ) (似然函數)

它們之間的關系可以通過貝葉斯公式進行連接: 后驗分布 = 似然函數* 先驗分布/ P(X)

之所以采用共軛先驗的原因是可以使得先驗分布和后驗分布的形式相同,這樣一方面合符人的直觀(它們應該是相同形式的)另外一方面是可以形成一個先驗鏈,即現在的后驗分布可以作為下一次計算的先驗分布,如果形式相同,就可以形成一個鏈條。

為了使得先驗分布和后驗分布的形式相同,我們定義:如果先驗分布和似然函數可以使得先驗分布和后驗分布有相同的形式,那么就稱先驗分布與似然函數是共軛的,共軛的結局是讓先驗與后驗具有相同的形式

注意:共軛是指的先驗分布和似然函數

 

兩個例子
Beta is the conjugate prior of Binomial.
Dirichlet is the conjugate prior of multinomial.


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM