一、引入
吉布斯采樣也是用於高維空間的采樣方法。
假設二維聯合概率分布$\pi(x_{1},x_{2})$在二維空間里有兩個點，分別是$A(x_{1}^{1},x_{2}^{1})$和$B(x_{1}^{1},x_{2}^{2})$，這兩個點的第一個維度取值相同，放在直角坐標系上看，它們兩的連線構成一條垂線。有如下成立：
$\pi (x_{1}^{1},x_{2}^{1})\pi (x_{2}^{2}\mid x_{1}^{1})=\pi (x_{1}^{1})\pi (x_{2}^{1}\mid x_{1}^{1})\pi (x_{2}^{2}\mid x_{1}^{1})$
$\pi (x_{1}^{1},x_{2}^{2})\pi (x_{2}^{1}\mid x_{1}^{1})=\pi (x_{1}^{1})\pi (x_{2}^{2}\mid x_{1}^{1})\pi (x_{2}^{1}\mid x_{1}^{1})$
$\pi (x_{1}^{1},x_{2}^{1})\pi (x_{2}^{2}\mid x_{1}^{1})=\pi (x_{1}^{1},x_{2}^{2})\pi (x_{2}^{1}\mid x_{1}^{1})$
即$\pi (A)\pi (x_{2}^{2}\mid x_{1}^{1})=\pi (B)\pi (x_{2}^{1}\mid x_{1}^{1})$
結論為：在$x_{1}=x_{1}^{1}$這條直線上，若用條件概率分布$\pi (x_{2}\mid x_{1}^{1})$作為馬爾可夫鏈的轉移矩陣，則任意兩點之間的轉換滿足細致平穩條件。更進一步的說明轉移矩陣中的元素如下：
$P(A\rightarrow B)=\pi (x_{2}^{B}\mid x_{1}^{1}),if x_{1}^{A}=x_{1}^{B}=x_{1}^{1}$
$P(A\rightarrow C)=\pi (x_{1}^{C}\mid x_{2}^{1}),if x_{2}^{A}=x_{2}^{C}=x_{2}^{1}$
$P(A\rightarrow D)=0,else$
其實就是說，一個點，和它垂直或水平方向的另一個點，都滿足細致平穩條件。二維空間中任意兩個這樣的點，至多通過兩步就能達到，所以說平面上任意兩個點都滿足細致平穩條件。
二、二維吉布斯采樣步驟
二維吉布斯采樣的過程就像一個固執的小人，他可以到達平面上任意一點，但他只往水平或垂直方向走。它交替的固定某一維度，然后通過其他維度的值來抽樣該維度的值，把采的路徑畫出如下所示：
具體步驟為：
1）初始擁有：平穩分布$\pi(x_{1},x_{2})$，轉移次數$n_{1}$，所需樣本數$n_{2}$
2）任意采樣初始狀態值$x_{1}^{0}$，$x_{2}^{0}$
3）$for t=0 to n_{1}+n_{2}-1$：
a）從條件概率分布$P\left ( x_{2}\mid x_{1}^{t} \right )$中采樣得到樣本$x_{2}^{t+1}$
b）從條件概率分布$P\left ( x_{1}\mid x_{2}^{t+1} \right )$中采樣得到樣本$x_{1}^{t+1}$
c）從條件概率分布$P\left ( x_{2}\mid x_{1}^{t+1} \right )$中采樣得到樣本$x_{2}^{t+2}$
以上過程反復進行，整個采樣過程為$(x_{1}^{1},x_{2}^{1})\rightarrow (x_{1}^{1},x_{2}^{2})\rightarrow (x_{1}^{2},x_{2}^{2})\rightarrow (x_{1}^{2},x_{2}^{3})$
最后得到樣本集為$(x_{1}^{n_{1}},x_{2}^{n_{1}}),(x_{1}^{n_{1}+1},x_{2}^{n_{1}+1}),(x_{1}^{n_{1}+2},x_{2}^{n_{1}+2}),..,(x_{1}^{n_{1}+n_{2}-1},x_{2}^{n_{1}+n_{2}-1})$
三、多維吉布斯采樣
對於n維聯合概率分布$\pi(x_{1},x_{2},x_{3},x_{4},..,x_{n-1},x_{n})$，我們可以通過在n個坐標軸上輪換來采樣，就像上面二維空間一樣，二維空間是橫坐標和縱坐標交替采樣，在n維里就是固定n-1個其他的維度，在某一個維度上進行移動。對於輪換到的任意一個坐標軸上的轉移，馬爾可夫鏈的狀態轉移概率為$P\left ( x_{i}\mid x_{1},x_{2},...,x_{i-1},x_{i+1},...,x_{n}\right )$。采樣過程具體如下：
1）初始擁有：平穩分布$\pi(x_{1},x_{2},x_{3},x_{4},..,x_{n-1},x_{n})$，轉移次數$n_{1}$，所需樣本數$n_{2}$
2）隨機初始狀態值$x_{1}^{0},x_{2}^{0},x_{3}^{0},...,x_{n}^{0},$
3）$for t=0 to n_{1}+n_{2}-1$：
a）從條件概率分布$P\left ( x_{1}\mid x_{2}^{t},...,x_{i-1}^{t}...,x_{n}^{t}\right )$中采樣得到樣本$x_{1}^{t+1}$
b）從條件概率分布$P\left ( x_{2}\mid x_{1}^{t+1},x_{2}^{t},...,x_{i-1}^{t},...,x_{n}^{t}\right )$中采樣得到樣本$x_{2}^{t+1}$
c）從條件概率分布$P\left ( x_{3}\mid x_{1}^{t+1},x_{2}^{t+1},...,x_{i-1}^{t},x_{i+1}^{t},...,x_{n}^{0}\right )$中采樣得到樣本$x_{3}^{t+1}$
.....
j）從條件概率分布$P\left ( x_{j}\mid x_{1}^{t+1},x_{2}^{t+1},...,x_{j-1}^{t+1},...,x_{n}^{t}\right )$中采樣得到樣本$x_{j}^{t+1}$
...
n）從條件概率分布$P\left ( x_{n}\mid x_{1}^{t+1},x_{2}^{t+1},...,x_{n-1}^{t+1},x_{n}^{t}\right )$中采樣得到樣本$x_{n}^{t+1}$