由於最近在看deep learning中的RBMs網絡，而RBMs中本身就有各種公式不好理解，再來幾個Gibbs采樣，就更令人頭疼了。所以還是覺得先看下Gibbs采樣的理論知識。經過調查發現Gibbs是隨機采樣中的一種。所以本節也主要是簡單層次的理解下隨機采用知識。參考的知識是博客隨機模擬的基本思想和常用采樣方法（sampling），該博文是網上找到的解釋得最通俗的。其實學校各種帶數學公式的知識時，最好有學者能用通俗易懂的語言介紹，這對入門學者來說極其重要。當然了，還參考了網頁http://www.jdl.ac.cn/user/lyqing/StatLearning/StatlLearning_handout.html中的一些資料。
采樣是指我們知道一個樣本x（大多數情況下是多維的）的概率分布函數，要通過這個函數來產生多個樣本點集合。有的人可能會問，這有什么難的，matlaab等工具不是有命令來產生各種分布的樣本么？比如說均值分布，正太分布的。對，確實沒錯，但這些分布樣本點的產生也不是很容易的，需要精心設計。如果把函數域中的每個函數都去花精力設計它的樣本產生方法，豈不是很費力。所以就出現了隨機采樣的方法，只要能逼近理論結果值就ok了。當然了，這只是隨機采用方法出現的一種原因，純屬個人理解，肯定還有不少其它方面的因素的。
分下面幾個部分來介紹常見的隨機采樣方法：
一、拒絕——接受采樣
該方法是用一個我們很容易采樣到的分布去模擬需要采樣的分布。它要滿足一些條件，如下：
其具體的采集過程如下所示：
幾何上的解釋如下：
由上面的解釋可知，其實是在給定一個樣本x的情況下，然后又隨機選取一個y值，該y值是在輪廓線Mq(x)下隨機產生的，如果該y值落在2條曲線之間，則被拒絕，否則就會被接受。這很容易理解，關於其理論的各種推導這里就免了，太枯燥了，哈哈。
二、重要性采樣。
我對重要性采樣的理解是該方法目的並不是用來產生一個樣本的，而是求一個函數的定積分的，只是因為該定積分的求法是通過對另一個叫容易采集分布的隨機采用得到的（本人研究比較淺，暫時只能這么理解着）。如下圖所示：
其中通過對q(x)的隨機采樣，得到大量的樣本x，然后求出f(x)*w(x)的均值，最終得出積分I值。其中的w(x)也就是重要性了，此時如果q(x)概率大，則得到的x樣本數就多，這樣w(x)的值也就多了，也間接體現了它越重要。
三、 Metropolis-Hasting
該方法是用一個建議分布以一定概率來更新樣本，有點類似拒絕——接受采樣。其過程如下所示：
四、Gibbs采樣
Gibss采用是需要知道樣本中一個屬性在其它所有屬性下的條件概率，然后利用這個條件概率來分布產生各個屬性的樣本值。其過程如下所示：
參考資料：
http://www.jdl.ac.cn/user/lyqing/StatLearning/StatlLearning_handout.html