本文介紹Neyman-Pearson理論，這也是我們會見到的最常見假設檢驗問題類，這里第一Part的概念介紹略顯枯燥，大家盡量理解即可。由於本系列為我獨自完成的，缺少審閱，如果有任何錯誤，歡迎在評論區中指出，謝謝！
Part 1：NP理論的基本概念
NP理論的樣本\(X\sim \{F_{\theta}:\theta\in\Theta \}\)，即來自一個參數分布族，相比擬合優度檢驗，此時的模型假定條件要更強一些，也因此需要檢驗的假設就落在了未知參數的取值范圍上。一般地，原假設\(H_0\)和備擇假設\(H_1\)是這么提出的：
這里\(\Theta_1=\Theta\setminus\Theta_0\)，也就是說，要么\(\theta\)落在\(\Theta_0\)內，要么\(\theta\)落在\(\Theta_1\)內。假設檢驗，就是根據樣本\(\boldsymbol{X}\)的具體觀測，在\(H_0\)和\(H_1\)中選擇一個，也就是接受零假設或者拒絕零假設。
比如，對於正態總體\(N(\mu,\sigma^2)\)中抽取的總體
如果想知道是否有\(\mu=79\)，在\(\sigma^2\)未知的情況下，零假設和備擇假設就應該如此提出：
這里\(\Theta_0=\{79\},\Theta_1=\mathbb{R}\setminus\{79\}\)。在這樣的樣本之下，何時接受\(H_0\)？我們不妨引入這樣的一個檢驗：計算\(\mu\)的\(95\%\)置信區間，如果這個置信區間包含\(79\)就接受\(H_0\)。從這里構建出的置信區間是\([77.54,82.03]\)，因而我們選擇接受\(H_0\)。
既然置信區間完全由抽取的樣本\(\boldsymbol{X}\)決定，當樣本\(\boldsymbol{X}\)取到某個范圍\(\mathscr X_1\)時置信區間一定包含\(\mu_0=79\)，而如果樣本沒有落入\(\mathscr X_1\)，就意味着落入了另一個空間\(\mathscr X_2=\mathbb{R}^5-\mathscr X_1\)，此時的置信區間就一定不包含\(\mu_0=79\)，拒絕原假設。因此，完全可以將樣本空間划分為兩部分，使得樣本落入其中一部分時拒絕零假設，沒有落入這部分就接受原假設，我們將拒絕原假設的樣本空間的子集稱為拒絕域。
可以看出，一個檢驗的實質就是其拒絕域\(D\)，如果兩個檢驗有相同的拒絕域，這兩個檢驗自然就是相同的。在這里，拒絕域是確定的一個部分，可以構建一個檢驗\(T\)，如此描述：
不過，有時候問題的拒絕域不是這么確定的，如從\(B(5,\theta)\)中抽取一個樣本對\(\theta\)作估計，規定\(H_0:\theta=0.5\)。如果\(X=3\)，我們就接受\(H_0\)；如果\(X=1,5\)就拒絕\(H_0\)。但是\(X=2,4\)時，我們就在接受或者\(H_0\)中陷入困難，因為好像拒絕和接受都不是那么妥當。
此時，我們引入檢驗函數的概念，來更好地描述檢驗。規定檢驗函數為定義在樣本空間\(\mathscr X\)、取值於\([0,1]\)的函數\(\varphi(\boldsymbol{x})\)，規定\(\varphi(\boldsymbol{x})\)為樣本觀測為\(\boldsymbol{x}\)時拒絕\(H_0\)的概率。此時，一個檢驗與一個檢驗函數就是一一對應的，拒絕域\(D\)就是\(\{\boldsymbol{x}:\varphi(\boldsymbol{x})=1\}\)。
如果\(\varphi(\boldsymbol{x})\)的值域為\(\{0,1\}\)而不包含任何介於其中的值，就稱為非隨機檢驗，如果存在有些\(\boldsymbol{x}\)有\(0<\varphi(\boldsymbol{x})<1\)，就稱為隨機檢驗。我們主要討論的都是非隨機檢驗。對於隨機檢驗，往往需要一個與樣本獨立的隨機試驗作為輔助。
有檢驗就一定會犯錯，在檢驗假設時會犯的錯誤可以分為兩類：一類是\(H_0\)正確但被拒絕，稱為棄真錯誤（第一類錯誤）；另一類是\(H_0\)錯誤但被接受，稱為存偽錯誤（第二類錯誤）。我們自然希望犯錯的概率盡可能小，一般說來對於一個檢驗，如果犯第一類錯誤的概率高，犯第二類錯誤的概率就低。
為了描述檢驗犯錯的概率，引入功效函數的概念：設\(\varphi(\boldsymbol{x})\)是一個檢驗函數，則其對應的功效函數定義為
這是一個關於參數\(\theta\)的函數，特別對於非隨機檢驗，有\(\beta_\varphi(\theta)=\mathbb{P}_{\theta}(\boldsymbol{X}\in D)\)。有了功效函數，就可以完全決定犯兩類錯誤的概率：
如果要使\(\alpha_{\varphi}^*(\theta)\)和\(\beta^*_{\varphi}(\theta)\)都盡可能小，則功效函數\(\beta_{\varphi}(\theta)\)就應該在\(\Theta_0\)中盡可能小，在\(\Theta_1\)中盡可能大。
既然固定樣本容量時，任何檢驗都不能同時讓第一類錯誤和第二類錯誤的概率很小，那么Neyman-Pearson所提出的原則就是：在保證犯第一類錯誤的概率不超過指定數值\(\alpha\)的檢驗中，尋找犯第二類錯誤概率盡可能小的檢驗。
最后，給出檢驗的水平的概念。如果\(\varphi\)犯第一類錯誤的概率總不超過\(\alpha\)，則稱\(\alpha\)是檢驗\(\varphi\)的一個水平，即\(\varphi\)是水平為\(\alpha\)的檢驗等價於\(\forall \theta\)，\(\beta_{\varphi}(\theta)\le \alpha\)。顯然，如果\(\alpha\)是檢驗\(\varphi\)的水平，則對於任何比\(\alpha\)大的\(\alpha'\)，\(\alpha'\)也是\(\varphi\)的水平。記檢驗所有水平的下確界為\(\varphi\)的真實水平，也是\(\sup\{\beta_{\varphi}(\theta):\theta\in\Theta\}\)。
Part 2：似然比檢驗
對於參數假設檢驗，一種通用的方式是構造似然比檢驗，它的構造方式直觀，適用面廣，故適合於幾乎所有參數假設檢驗問題。日后當我們學習多元統計分析的時候，由於多元理論尚不成熟，似然比檢驗會在其中發揮更大的用途。
似然比檢驗是基於似然函數而構造的，由於零假設和備擇假設將參數空間分為兩個部分，在這兩個部分上都取讓似然函數取值最大的點。由於零假設的參數空間是全參數空間的一個子集，所以零假設上似然函數的最大值必定不超過全參數空間上似然函數的最大值。構造似然比統計量為
如果此比值較大，則參數在\(\Theta_0\)內的可能性就較大，故傾向於接受原假設；如果此比值較小，則參數空間在\(\Theta_0\)內的可能性就較小，故傾向於拒絕原假設。一個基於似然比統計量的非隨機檢驗函數就應該具有以下的形式：
這就是似然比檢驗。有時候\(\lambda(\boldsymbol{x})\)的形式可能較復雜，找與\(\lambda(\boldsymbol{x})\)具有相同或者相反單調性的統計量構造形式相似的檢驗，也是似然比檢驗；如果\(\lambda(\boldsymbol{x})\)的精確形式很難求，也可以用極限分布來替代，這是因為關於似然比統計量的極限分布由Wilks定理所保證為卡方分布。
以下簡單給出一個似然比檢驗的構造，求\(N(\mu,\sigma^2)\)中，\(H_0:\mu=\mu_0\leftrightarrow H_1:\mu\ne\mu_0\)的水平為\(\alpha\)的似然比檢驗。其步驟是這樣的：
-
寫出似然函數為
\[f(\boldsymbol{x};\theta)=(2\pi\sigma^2)^{-\frac{n}{2}}\exp\left\{-\frac{1}{2\sigma^2}\sum_{j=1}^n(x_j-\mu)^2 \right\}. \] -
分別求出零假設\(\Theta_0\)內的極大似然估計點和全參數空間\(\Theta\)內的極大似然估計點。在這里，\(\Theta\)內的極大似然估計點顯然是\(\hat \mu=\bar X\)，\(\hat\sigma^2=\frac{1}{n}\sum_{j=1}^n(X_j-\bar X)^2\)；而\(\Theta_0\)內的極大似然估計點，則是
\[\hat \sigma^2_0=\frac{1}{n}\sum_{j=1}^n(X_j-\mu_0)^2. \] -
第三步，將極大似然估計點代入似然比估計量，計算並化簡形式。許多時候，似然比統計量計算過程具有很多的化簡操作。
\[\begin{aligned} \lambda(\boldsymbol{X})&=\left(\frac{\hat\sigma_0^2}{\hat \sigma^2}\right)^{-\frac{n}{2}}\frac{\exp\{{-\frac{1}{2\hat \sigma_0^2}}\sum_{j=1}^n(X_j-\mu_0)^2 \}}{\exp\{-\frac{1}{2\hat\sigma^2}\sum_{j=1}^n(X_j-\bar X)^2 \}}\\ &\xlongequal{后一項約分} \left(\frac{\hat\sigma_0^2}{\hat\sigma^2} \right)^{-\frac{n}{2}}\\ &=\left(\frac{\sum_{j=1}^n(X_j-\mu_0)^2}{\sum_{j=1}^n(X_j-\bar X)^2} \right)^{-\frac{n}{2}}\\ &=\left(\frac{\sum_{j=1}^n(X_j-\bar X)^2+n(\bar X-\mu_0)^2}{\sum_{j=1}^n(X_j-\bar X)^2} \right)^{\frac{n}{2}}\\ &=\left(1+\frac{(\bar X-\mu_0)^2}{\frac{1}{n}\sum_{j=1}^n (X_j-\bar X)^2} \right)^{-\frac{n}{2}} \end{aligned}. \] -
第四步，將似然比統計量進行同單調性變換。這一步一般是最難的，需要將統計量轉變成一個分布已知、且同單調性的統計量，才能構造出水平為\(\alpha\)的檢驗。我們可以先假設\(H_0\)成立，那么
\[\frac{\sqrt{n}}{\sigma}(\bar X-\mu_0)\sim N(0,1),\\ \frac{1}{\sigma^2}\sum_{j=1}^n(X_j-\bar X)^2\sim \chi^2(n-1), \]所以令
\[T=\frac{\sqrt{n}(\bar X-\mu_0)}{\sqrt{\frac{1}{n-1}\sum_{j=1}^n (X_j-\mu_0)}}\sim t(n-1),\\ \lambda(\boldsymbol{X})=\left(1+\frac{1}{n-1}T^2 \right)^{-\frac{n}{2}}. \]注意到\(\lambda(\boldsymbol{X})\)與\(T^2\)的單調性相反，所以拒絕域\(\lambda(\boldsymbol{X})<c'\)應當等價於具有\(|T|>c\)的形式。
-
第五步，求其水平為\(\alpha\)的檢驗，也就是找到點\(c\)使得
\[\mathbb{P}(|T|>c|H_0)=\alpha, \]由於\(H_0\)下\(T\sim t(n-1)\)，所以顯然\(c=t_{\alpha/2}(n-1)\)。故似然比檢驗得到這個問題的拒絕域就是
\[D=\{\boldsymbol{X}:|T(\boldsymbol{X})|>t_{\alpha/2} \}. \]
似然比檢驗的難點主要在於第四步，進行同單調性變換的過程；而第三步化簡雖然繁瑣，但只需要按部就班地執行即可。這里恰好是正態分布，所以可以找到一個具有良好分布的\(T\)，使得似然比檢驗有較精確的形式。很多時候，找不到這個單調性相同或相反的統計量，而似然比統計量本身的精確分布又很難求得，這時候，Wilks定理就給出了一個非常重要且實用的結果。
Wilks定理：設\(\Theta\)的維數為\(k\)，\(\Theta_0\)的維數為\(s\)，若\(k-s>0\)，且樣本的概率分布滿足一定的正則條件，則似然比統計量在\(H_0\)成立的情況下，有
這樣，我們就可以容易地使用似然比統計量進行檢驗。首先，假設\(H_0\)成立，這時候\(\lambda\)就不能太小，\(-2\ln \lambda\)也就不能太大，因此檢驗的拒絕域必定是\(D=\{-2\ln\lambda >c \}\)；然后Wilks定理保證了\(-2\ln\lambda\)的極限分布為\(\chi^2_{k-s}\)，所以在檢驗水平為\(\alpha\)的情況下，拒絕域可以是
不過盡管似然比檢驗具有直觀、方便構造、具有普適性的優點，它的缺點也十分明顯：缺乏針對性，效率不高。因此，如果有更精確的構造檢驗的方法，尤其是正態分布的參數假設檢驗問題，我們一般不會選擇似然比檢驗。
Part 3：假設檢驗與區間估計
現在我們討論單參數假設檢驗水平為\(\alpha\)的檢驗問題，事實上這可以與區間估計建立聯系。
設\(\boldsymbol{X}=(X_1,\cdots,X_n)\)是從總體\(\{f(x,\theta);\theta\in\Theta\}\)中抽取的簡單隨機樣本，如果參數\(\theta\)的置信水平為\(1-\alpha\)的置信區間為\([\hat\theta_1(\boldsymbol{X}),\hat\theta_2(\boldsymbol{X})]\)，考慮檢驗問題：
如果我們需要一個水平為\(\alpha\)的檢驗，令\(\bar D\)為其接受域，就有
我們會發現，由置信區間的定義解\(\boldsymbol{X}\in \bar D\)，就能得到\(\hat\theta_1(\boldsymbol{X})\le \theta_0\le \hat\theta_2(\boldsymbol{X})\)。也就是說，如果\(\theta_0\)落入了置信區間規定的范圍，就不能拒絕原假設；否則就拒絕原假設。這就是由置信區間構造假設檢驗的方式。對於單邊檢驗\(H_0:\theta\ge \theta_0\)或者\(H_0:\theta\le \theta_0\)，則相應地求出單邊的置信限即可。
因此，要構造出水平為\(\alpha\)的假設檢驗，只需要構造一個關於\(\theta\)的區間估計（或者置信限），歸根結底還是依賴於點估計構造假設檢驗，在下一節中，我們將展示單正態分布總體參數的假設檢驗問題，會以一種稍微不同的方式展示點估計的使用方法。
本文的內容略顯枯燥，Part 1主要是概念方面的問題，Part 2介紹了一種實用的似然比檢驗方法，但在我們當前學習的數理統計中用處不廣泛，而Part 3將區間估計與假設檢驗結合在一起，為我們對大多數參數分布族的假設檢驗提供了方向。下一篇文章中，我們將對正態分布的參數假設檢驗問題進行討論，並介紹假設檢驗中十分重要的概念：檢驗的p-value。