顯著性檢驗通常可以告訴我們一個觀測值是否是有效的，例如檢測兩組樣本均值差異的假設檢驗可以告訴我們這兩組樣本的均值是否相等（或者那個均值更大）。我們在實驗中經常會因為各種問題（時間、經費、人力、物力）得到一些小樣本結果，如果我們想知道這些小樣本結果的總體是什么樣子的，就需要用到置換檢驗。
Permutation test 置換檢驗是Fisher於20世紀30年代提出的一種基於大量計算（computationally intensive），利用樣本數據的全（或隨機）排列，進行統計推斷的方法，因其對總體分布自由，應用較為廣泛，特別適用於總體分布未知的小樣本資料，以及某些難以用常規方法分析資料的假設檢驗問題。在具體使用上它和Bootstrap Methods類似，通過對樣本進行順序上的置換，重新計算統計檢驗量，構造經驗分布，然后在此基礎上求出P-value進行推斷。
下面通過一個簡單例子來介紹Permutation test的思想。
假設我們設計了一個實驗來驗證加入某種生長素后擬南芥的側根數量會明顯增加。A組是加入某種生長素后，擬南芥的側根數量；B是不加生長素時，擬南芥的側根數量（均為假定值）。
A組側根數量（共12個數據）：24 43 58 67 61 44 67 49 59 52 62 50
B組側根數量（共16個數據）：42 43 65 26 33 41 19 54 42 20 17 60 37 42 55 28
我們來用假設檢驗的方法來判斷生長素是否起作用。我們的零假設為：加入的生長素不會促進擬南芥的根系發育。在這個檢驗中，若零假設成立，那么A組數據的分布和B組數據的分布是一樣的，也就是服從同個分布。
接下來構造檢驗統計量——A組側根數目的均值同B組側根數目的均值之差。
statistic:= mean(Xa)-mean(Xb)
對於觀測值有 Sobs:=mean(Xa)-mean(Xb)=(24+43+58+67+61+44+67+49+59+52+62+50)/12-(42+43+65+26+33+41+19+54+42+20+17+60+37+42+55+28)/16=14
我們可以通過Sobs在置換分布（permutation distribution）中的位置來得到它的P-value。
Permutation test的具體步驟是：
1.將A、B兩組數據合並到一個集合中，從中挑選出12個作為A組的數據（X'a），剩下的作為B組的數據（X'b）。
Gourp:=24 43 58 67 61 44 67 49 59 52 62 50 42 43 65 26 33 41 19 54 42 20 17 60 37 42 55 28
挑選出 X'a:=43 17 44 62 60 26 28 61 50 43 33 19
X'b:=55 41 42 65 59 24 54 52 42 49 37 67 67 20 42 58
2.計算並記錄第一步中A組同B組的均值之差。Sper:=mean(X'a)-mean(X'b)= -7.875
3.對前兩步重復999次（重復次數越多，得到的背景分布越”穩定“）
這樣我們得到有999個置換排列求得的999個Sper結果，這999個Sper結果能代表擬南芥小樣本實驗的抽樣總體情況。
permutation test
如上圖所示，我們的觀測值 Sobs=14 在抽樣總體右尾附近，說明在零假設條件下這個數值是很少出現的。在permutation得到的抽樣總體中大於14的數值有9個，所以估計的P-value是9/999=0.01
最后還可以進一步精確P-value結果（做一個抽樣總體校正），在抽樣總體中加入一個遠大於觀測值 Sobs=14的樣本，最終的P-value=(9+1)/(999+1)=0.01。（為什么這樣做是一個校正呢？自己思考:)）
結果表明我們的原假設不成立，加入生長素起到了促使擬南芥的根系發育的作用。
參考資料：
1. http://bcs.whfreeman.com/ips5e/content/cat_080/pdf/moore14.pdf
2. http://jpkc.njmu.edu.cn/course/tongjixue/file/jxzy/tjjz02.htm
3. http://www.r-bloggers.com/lang/chinese/541
來源：https://www.plob.org/article/3176.html
大數定理：
當樣本量足夠多時，樣本發生的頻率近似於概率。
中心極限定理：
中心極限定理以嚴格的數學形式闡明了在大樣本條件下，不論總體的分布如何，樣本的均值總是近似地服從正態分布。如果一個隨機變量能夠分解為獨立同分布的隨機變量序列之和，則可以直接利用中心極限定理進行解決。總之，恰當地使用中心極限定理解決實際問題有着極其重要意義。
假設檢驗：檢驗量：樣本均值的分布；樣本均值的比較。
置換檢驗（非參數檢驗）
當樣本量不夠大，樣本分布未知的情況下；用置換檢驗模擬出樣本均值分布，然后再進行比較
in detials：
兩組數據：A:樣本量n；B:樣本量m，總體樣本數量：n+m
則從n+m個樣本中隨機抽取n個值，計算出樣本均值，然后重復此過程i次（i=1000），得到樣本均值的分布情況，然后將A樣本均值與得到的分布進行比較。則可以進行假設檢驗。
從n+m個樣本中隨機抽n個的為A，剩下m為B，計算兩組差異，重復次過程i次，得到差異的分布情況，將實際差異與分布情況進行比較。
attention：模擬數據，想法與置換檢驗有相似點。去除掉混淆因素。
https://en.wikipedia.org/wiki/Resampling_(statistics)