采樣之Gibbs采樣


前面我們講到了M-H采樣已經可以很好的解決蒙特卡羅方法需要的任意概率分布的樣本集的問題。但是M-H采樣有兩個缺點:一是需要計算接受率,在高維時計算量大。並且由於接受率的原因導致算法收斂時間變長。二是有些高維數據,特征的條件概率分布好求,但是特征的聯合分布不好求。因此需要一個好的方法來改進M-H采樣,這就是我們下面講到的Gibbs采樣。

1. 重新尋找合適的細致平穩條件

2.  二維Gibbs采樣

 用下圖可以很直觀的看出,采樣是在兩個坐標軸上不停的輪換的。當然,坐標軸輪換不是必須的,我們也可以每次隨機選擇一個坐標軸進行采樣。不過常用的Gibbs采樣的實現都是基於坐標軸輪換的。

 

3. 多維Gibbs采樣

4.其它解釋1 

 Gibbs采樣的目的是獲得一個樣本,不是計算概率,但可以通過其他方法來統計概率。

5其它解釋2

這里通俗點的解釋一下。首先,什么是sampling。sampling就是以一定的概率分布,看發生什么事件。舉一個例子。甲只能E:吃飯、學習、打球,時間T:上午、下午、晚上,天氣W:晴朗、刮風、下雨。現在要一個sample,這個sample可以是:打球+下午+晴朗。。。

問題是我們不知道p(E,T,W),或者說,不知道三件事的聯合分布。當然,如果知道的話,就沒有必要用gibbs sampling了。但是,我們知道三件事的conditional distribution。也就是說,p(E|T,W),p(T|E,W),p(W|E,T)。現在要做的就是通過這三個已知的條件分布,再用gibbs sampling的方法,得到joint distribution。

 

參考:https://www.cnblogs.com/xbinworld/p/4266146.html

          https://blog.csdn.net/yywan1314520/article/details/51013410

           https://blog.csdn.net/zb1165048017/article/details/51778694

          http://blog.sina.com.cn/s/blog_5e9e98210102v1wb.html


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM