顯著性檢驗（significance test）就是事先對總體（隨機變量）的參數或總體分布形式做出一個假設，然后利用樣本信息來判斷這個假設（備擇假設）是否合理，即判斷總體的真實情況與原假設是否有顯著性差異。或者說，顯著性檢驗要判斷樣本與我們對總體所做的假設之間的差異是純屬機會變異，還是由我們所做的假設與總體真實情況之間不一致所引起的。 顯著性檢驗是針對我們對總體所做的假設做檢驗，其原理就是“小概率事件實際不可能性原理”來接受或否定假設。顯著性水平代表的意義是在一次試驗中小概率事物發生的可能性大小。
檢驗“無效假設”成立的機率水平一般定為5%，其含義是將同一實驗重復100次，兩者結果間的差異有5次以上是由抽樣誤差造成的，則“無效假設”成立，可認為兩組間的差異為不顯著，常記為p>0.05。若兩者結果間的差異5次以下是由抽樣誤差造成的，則“無效假設”不成立，可認為兩組間的差異為顯著，常記為p≤0.05。如果p≤0.01，則認為兩組間的差異為非常顯著。
顯著性檢驗即用於實驗處理組與對照組或兩種不同處理的效應之間是否有差異，以及這種差異是否顯著的方法。
常把一個要檢驗的假設記作H0,稱為原假設（或零假設） (null hypothesis) ，與H0對立的假設記作H1，稱為備擇假設(alternative hypothesis) 。
⑴ 在原假設為真時，決定放棄原假設，稱為第一類錯誤，其出現的概率通常記作α；
⑵ 在原假設不真時，決定不放棄原假設，稱為第二類錯誤，其出現的概率通常記作β。
通常只限定犯第一類錯誤的最大概率α， 不考慮犯第二類錯誤的概率β。這樣的假設檢驗又稱為顯著性檢驗，概率α稱為顯著性水平。
最常用的α值為0.01、0.05、0.10等。一般情況下，根據研究的問題，如果放棄真假設損失大，為減少這類錯誤，α取值小些 ，反之，α取值大些。
常用顯著性檢驗
1.t檢驗
適用於計量資料、正態分布、方差具有齊性的兩組間小樣本比較。包括配對資料間、樣本與均數間、兩樣本均數間比較三種，三者的計算公式不能混淆。
T檢驗，亦稱student t檢驗（Student's t test），主要用於樣本含量較小（例如n<30），總體標准差σ未知的正態分布資料。
t檢驗是用t分布理論來推論差異發生的概率，從而比較兩個平均數的差異是否顯著。
在進行t檢驗時，如果其目的在於檢驗兩個總體均數是否相等，即為雙側檢驗，如果假設是兩個總體均數的大於或者小於的相對關系，則為單側檢驗。
t檢驗分為單總體檢驗和雙總體檢驗。單總體t檢驗是檢驗一個樣本平均數與一個已知的總體平均數的差異是否顯著。當總體分布是正態分布，如總體標准差未知且樣本容量小於30，那么樣本平均數與總體平均數的離差統計量呈t分布。雙總體t檢驗是檢驗兩個樣本平均數與其各自所代表的總體的差異是否顯著。雙總體t檢驗又分為兩種情況，一是獨立樣本t檢驗，一是配對樣本t檢驗。
注：
a. 選用的檢驗方法必須符合其適用條件(注意：t檢驗的前提是資料服從正態分布) 。理論上，即使樣本量很小時，也可以進行t檢驗。（如樣本量為10，一些學者聲稱甚至更小的樣本也行），只要每組中變量呈正態分布，兩組方差不會明顯不同。如上所述，可以通過觀察數據的分布或進行正態性檢驗估計數據的正態假設。方差齊性的假設可進行F檢驗，或進行更有效的Levene's檢驗。如果不滿足這些條件，可以采用校正的t檢驗，或者換用非參數檢驗代替t檢驗進行兩組間均值的比較。
b. 區分單側檢驗和雙側檢驗。單側檢驗的界值小於雙側檢驗的界值，因此更容易拒絕，犯第Ⅰ錯誤的可能性大。t檢驗中的p值是接受兩均值存在差異這個假設可能犯錯的概率。在統計學上，當兩組觀察對象總體中的確不存在差別時，這個概率與我們拒絕了該假設有關。一些學者認為如果差異具有特定的方向性，我們只要考慮單側概率分布，將所得到t-檢驗的P值分為兩半。另一些學者則認為無論何種情況下都要報告標准的雙側t檢驗概率。
c. 假設檢驗的結論不能絕對化。當一個統計量的值落在臨界域內，這個統計量是統計上顯著的，這時拒絕虛擬假設。當一個統計量的值落在接受域中，這個檢驗是統計上不顯著的，這是不拒絕虛擬假設H0。因為，其不顯著結果的原因有可能是樣本數量不夠拒絕H0 ，有可能犯第Ⅰ類錯誤。
d. 正確理解P值與差別有無統計學意義。P越小，不是說明實際差別越大，而是說越有理由拒絕H0 ，越有理由說明兩者有差異，差別有無統計學意義和有無專業上的實際意義並不完全相同。
e. 假設檢驗和可信區間的關系結論具有一致性差異：提供的信息不同區間估計給出總體均值可能取值范圍，但不給出確切的概率值，假設檢驗可以給出H0成立與否的概率。
f. 涉及多組間比較時，慎用t檢驗。
科研實踐中，經常需要進行兩組以上比較，或含有多個自變量並控制各個自變量單獨效應后的各組間的比較，（如性別、葯物類型與劑量），此時，需要用方差分析進行數據分析，方差分析被認為是T檢驗的推廣。在較為復雜的設計時，方差分析具有許多t-檢驗所不具備的優點。（進行多次的T檢驗進行比較設計中不同格子均值時）。
2.t'檢驗
應用條件與t檢驗大致相同，但t′檢驗用於兩組間方差不齊時，t′檢驗的計算公式實際上是方差不齊時t檢驗的校正公式。
3.U檢驗
應用條件與t檢驗基本一致，只是當大樣本時用U檢驗，而小樣本時則用t檢驗，t檢驗可以代替U檢驗。
4.方差分析
用於正態分布、方差齊性的多組間計量比較。常見的有單因素分組的多樣本均數比較及雙因素分組的多個樣本均數的比較，方差分析首先是比較各組間總的差異，如總差異有顯著性，再進行組間的兩兩比較，組間比較用q檢驗或LST檢驗等。
5.X2檢驗
是計數資料主要的顯著性檢驗方法。用於兩個或多個百分比(率)的比較。常見以下幾種情況：四格表資料、配對資料、多於2行*2列資料及組內分組X2檢驗。
6.零反應檢驗
用於計數資料。是當實驗組或對照組中出現概率為0或100％時，X2檢驗的一種特殊形式。屬於直接概率計算法。
7.符號檢驗、秩和檢驗和Ridit檢驗
三者均屬非參數統計方法，共同特點是簡便、快捷、實用。可用於各種非正態分布的資料、未知分布資料及半定量資料的分析。其主要缺點是容易丟失數據中包含的信息。所以凡是正態分布或可通過數據轉換成正態分布者盡量不用這些方法。
8.Hotelling檢驗
用於計量資料、正態分布、兩組間多項指標的綜合差異顯著性檢驗。
9.F檢驗
F檢驗又叫方差齊性檢驗。在兩樣本t檢驗中要用到F檢驗。
從兩研究總體中隨機抽取樣本，要對這兩個樣本進行比較的時候，首先要判斷兩總體方差是否相同，即方差齊性。若兩總體方差相等，則直接用t檢驗，若不等，可采用t'檢驗或變量變換或秩和檢驗等方法。其中要判斷兩總體方差是否相等，就可以用F檢驗。
簡單的說就是檢驗兩個樣本的方差是否有顯著性差異，這是選擇何種T檢驗（等方差雙樣本檢驗，異方差雙樣本檢驗）的前提條件。
F檢驗法是英國統計學家Fisher提出的，主要通過比較兩組數據的方差 S^2，以確定他們的精密度是否有顯著性差異。至於兩組數據之間是否存在系統誤差，則在進行F檢驗並確定它們的精密度沒有顯著性差異之后，再進行t檢驗。
注：
多元線性回歸分析中，F檢驗主要是檢驗因變量同多個自變量的整體線性關系是否顯著，在k個自變量中，只要有一個自變量同因變量的線性關系顯著，t檢驗則是對每個回歸系數分別進行單獨的檢驗，以判斷每個自變量對因變量的影響是否顯著。
在建立多元線性回歸模型時，t檢驗是用於檢驗回歸方程各個參數是否顯著為0的單一檢驗，F檢驗是檢查所有解釋變量的系數是否同時為0的單一檢驗，F檢驗是檢驗所有解釋變量的系數是否同時為0的聯合檢驗。
t統計量與F統計量的構造原理及其概率分布都是不一致的，前者直接考慮參數的估計量是否“足夠”接近於0，服從t分布；后者則是從總離差平方和分解式出發，以回歸平方與殘差平方和的比值來推斷解釋變量整體對被解釋變量的線性影響是否顯著，服從F分布。因此，就一般而言，t檢驗與F檢驗不能相互替代。但當解釋變量之間兩兩線性無關時，可以借助一個檢驗推斷另一個檢驗的結果，即若所有解釋變量均通過t檢驗，那么回歸方程也能通過F檢驗。（參考：http://wenku.baidu.com/link?url=owemT9BvQyxjvGvYWXT2CD_0p4C8d_mqNV26k5BZXoZvMyNnAL0fiOuTCkCIKPjbwBZEFSdTFb2FF4oWVFcBcacfZu6P0R_5lnfYG4cHZaq）