回歸分析07：假設檢驗與區間估計(1)

目錄

• Chapter 7：假設檢驗與區間估計(1)
  • 4.1 一般線性假設
  • 4.2 回歸方程的顯著性檢驗
  • 4.3 回歸系數的顯著性檢驗
  • 4.4 其它線性假設的檢驗

Chapter 7：假設檢驗與區間估計(1)

4.1 一般線性假設

在第三章中，我們給出了基於 Gauss-Markov 假設下的線性回歸模型的模型設定：

\[Y=X\beta+e \ , \quad {\rm E}(e)=0 \ , \quad {\rm Cov}(e)=\sigma^2I_n \ . \]

注意到，這里我們並沒有對隨機干擾項的分布加以限制。這一章開始，我們主要利用假設檢驗的方法，對所建立的回歸方程是否刻畫了因變量和自變量之間的真實依賴關系進行分析。

由於假設檢驗問題要求在原假設成立的條件下，所構造的檢驗統計量的分布是已知的，因此這里我們對隨機干擾項施加正態性假設，即考慮正態線性回歸模型：

\[Y=X\beta+e \ , \quad e\sim N\left(0,\sigma^2I_n\right) \ . \]

首先關注一般線性假設問題 \(H_0:A\beta=b\) ，這里 \(A\) 為 \(m\times(p+1)\) 的矩陣，\(b\) 為 \(m\times1\) 的常數向量。

利用最小二乘法，得到最小二乘估計量 \(\hat\beta=\left(X'X\right)^{-1}X'Y\) ，以及殘差平方和

\[{\rm RSS}=\left(Y-X\hat\beta\right)'\left(Y-X\hat\beta\right)=Y'\left(I_n-H\right)Y \ . \]

對線性回歸模型施加線性假設 \(H_0\) ，根據第三章所學結論，得到約束最小二乘估計

\[\hat\beta_H=\hat\beta-\left(X'X\right)^{-1}A'\left(A\left(X'X\right)^{-1}A'\right)^{-1}\left(A\hat\beta-b\right) \ , \]

以及相應的殘差平方和

\[{\rm RSS}_H=\left(Y-X\hat\beta_H\right)'\left(Y-X\hat\beta_H\right) \ . \]

殘差平方和反映了實際數據與模型的擬合程度，施加約束條件后，回歸系數 \(\beta\) 的搜索范圍變小了，因而殘差平方和就變大了，於是總有 \({\rm RSS}_H\geq{\rm RSS}\) 。

若回歸系數 \(\beta\) 滿足約束條件，則是否施加約束條件本質上是一樣的，此時 \({\rm RSS}_H-{\rm RSS}\) 應該較小。同理可知，若回歸系數 \(\beta\) 不滿足約束條件，此時 \({\rm RSS}_H-{\rm RSS}\) 應該較大。所以，當 \({\rm RSS}_H-{\rm RSS}\) 偏大到一定程度時，我們就有充分的理由拒絕原假設。

定理 4.1.1 (最小二乘法基本定理) ：對於正態線性回歸模型

\[Y=X\beta+e \ , \quad e\sim N\left(0,\sigma^2I_n\right) \ , \]

(1) \({\rm RSS}/\sigma^2\sim\chi^2(n-p-1)\) ；

(2) 若假設 \(H_0:A\beta=b\) 成立，則 \(\left({\rm RSS}_H-{\rm RSS}\right)/\sigma^2\sim\chi^2(m)\) ，其中 \(m\) 為約束個數；

(3) \({\rm RSS}\) 與 \({\rm RSS}_H-{\rm RSS}\) 相互獨立；

(4) 若假設 \(H_0:A\beta=b\) 成立，則

\[F_H=\frac{\left({\rm RSS}_H-{\rm RSS}\right)/m}{{\rm RSS}/(n-p-1)}\sim F(m,n-p-1) \ . \]

這里我們給出一種 \(F_H\) 統計量的解釋：

• 分子 \(\left({\rm RSS}_H-{\rm RSS}\right)/m\) 表示每增加一個約束，殘差平方和的平均變化量；
• 分母 \({\rm RSS}/(n-p-1)\) 起正則化作用，用來消除分子 \(\left({\rm RSS}_H-{\rm RSS}\right)/m\) 的量綱。

這里 \(F_H\) 即可作為線性假設 \(H_0:A\beta=b\) 的檢驗統計量，對於給定的顯著性水平 \(\alpha\) ，檢驗的拒絕域為

\[W=\left\{F_H>F_{\alpha}(m,n-p-1)\right\} \ . \]

(1) 定理 3.2.4 已證。

(2) 根據定理 3.3.1 證明過程可知，

\[\|Y-X\hat\beta_H\|^2= \left\|Y-X\hat\beta\right\|^2+\left\|X\left(\hat\beta-\hat\beta_H\right)\right\|^2 \ , \]

即有

\[{\rm RSS}_H={\rm RSS}+\left(\hat\beta-\hat\beta_H\right)'X'X\left(\hat\beta-\hat\beta_H\right) \ . \tag{1} \]

利用 \(\hat\beta_H\) 的表達式可得

\[{\rm RSS}_H-{\rm RSS}=\left(A\hat\beta-b\right)'\left(A\left(X'X\right)^{-1}A'\right)^{-1}\left(A\hat\beta-b\right) \ . \tag{2} \]

因為 \(\hat\beta\sim N\left(\beta,\sigma^2\left(X'X\right)^{-1}\right)\) ，根據定理 2.3.2 可知

\[A\hat\beta-b\sim N\left(A\beta-b,\sigma^2A\left(X'X\right)^{-1}A'\right) \ . \]

若原假設 \(H_0:A\beta=b\) 成立，則有

\[A\hat\beta-b\sim N\left(0,\sigma^2A\left(X'X\right)^{-1}A'\right) \ . \]

又因為約數個數 \(m\) 滿足 \({\rm rank}(A)=m\) ，根據定理 2.4.1 可知

\[\frac{{\rm RSS}_H-{\rm RSS}}{\sigma^2}\sim \chi^2(m) \ . \]

(3) 注意到

\[\begin{aligned} A\hat\beta-b&=A\left(X'X\right)^{-1}X'\left(X\beta+e\right)-b \\ \\ &=A\left(X'X\right)^{-1}X'e+(A\beta-b) \ , \end{aligned} \]

代入 \((2)\) 式可得

\[{\rm RSS}_H-RSS\xlongequal{def}e'Me+2c'e+\Theta \ , \]

其中

\[\begin{aligned} &M=X\left(X'X\right)^{-1}A'\left(A\left(X'X\right)^{-1}A'\right)^{-1}A\left(X'X\right)^{-1}X' \ , \\ \\ &c'=\left(A\beta-b\right)'\left(A\left(X'X\right)^{-1}A'\right)^{-1}A\left(X'X\right)^{-1}X' \ , \\ \\ &\Theta=\left(A\beta-b\right)'\left(A\left(X'X\right)^{-1}A'\right)^{-1}(A\beta-b) \ . \end{aligned} \]

注意到 \(\Theta\) 為非隨機項，記 \(N=I-X\left(X'X\right)^{-1}X'\) ，且有 \(X'N=O\) ，於是

\[{\rm RSS}=e'\left(I-X\left(X'X\right)^{-1}X'\right)=e'Ne \ . \]

要證 \({\rm RSS}_H-{\rm RSS}\) 與 \({\rm RSS}\) 相互獨立，只需證 \(e'Me\) 與 \(c'e\) 都與 \(e'Ne\) 相互獨立。

因為 \(e\sim N\left(0,\sigma^2I\right)\) ，根據推論 2.4.10 和推論 2.4.11 可知，只需證

\[M\cdot\sigma^2I\cdot N=O \ , \quad c'\cdot\sigma^2I\cdot N=0 \ . \]

由 \(X'N=O\) 顯然得證。

(4) 由以上三個結論可直接推出 \(F_H\) 的分布。

在實際計算過程中，\({\rm RSS}\) 可通過下列公式計算：

\[{\rm RSS}=\left(Y-X\hat\beta\right)'\left(Y-X\hat\beta\right)=Y'Y-\hat\beta'X'Y \ . \]

而計算 \({\rm RSS}_H\) 時可通過把約束條件 \(A\beta=b\) 代入原來的模型，從而轉化為一個無約束的模型，稱之為約簡模型，參考 \({\rm RSS}\) 的計算公式進行計算。

同一模型檢驗問題：假設我們對因變量 \(y\) 和自變量 \(x_1,x_2,\cdots,x_p\) 有兩批觀測數據，對第一批和第二批數據，分別有線性回歸模型

\[\begin{aligned} &y_i=\beta_0^{(1)}+\beta_1^{(1)}x_{i1}+\cdots+\beta_p^{(1)}x_{ip}+e_i \ , \quad i=1,2,\cdots,n_1 \ ; \\ \\ &y_i=\beta_0^{(2)}+\beta_1^{(2)}x_{i1}+\cdots+\beta_p^{(2)}x_{ip}+e_i \ , \quad i=n_1+1,n_1+2,\cdots,n_1+n_2 \ , \end{aligned} \]

其中，\(e_{1},e_{2},\cdots,e_{n_1+n_2}\) 獨立同分布服從 \(N\left(0,\sigma^2\right)\) 。試檢驗這兩批數據所反映的因變量與自變量之間的依賴關系是否一樣，即檢驗

\[H_0:\beta_i^{(1)}=\beta_{i}^{(2)} \ , \quad i=0,1,2,\cdots,p \ . \]

推導檢驗統計量，將兩個模型寫成矩陣形式：

\[Y_1=X_1\beta_1+e_1 \ , \quad e_1\sim N\left(0,\sigma^2I_{n_1}\right) \ , \\ \\ Y_2=X_2\beta_2+e_2 \ , \quad e_2\sim N\left(0,\sigma^2I_{n_2}\right) \ . \]

將它們合並得到

\[\begin{pmatrix} Y_1\\ Y_2 \end{pmatrix}=\begin{pmatrix} X_1 & O\\ O & X_2 \end{pmatrix}\begin{pmatrix} \beta_1\\ \beta_2 \end{pmatrix}+\begin{pmatrix} e_1\\ e_2 \end{pmatrix} \ , \quad \begin{pmatrix} e_1\\ e_2 \end{pmatrix}\sim N\left(0,\sigma^2I_{n_1+n_2}\right) \ . \]

檢驗問題可以寫為

\[H_0:\left(\begin{array}{c:c}I_{p+1}&-I_{p+1}\end{array}\right)\begin{pmatrix} \beta_1\\ \beta_2 \end{pmatrix}=0 \ . \]

容易計算原模型的最小二乘估計和殘差平方和為：

\[\begin{align} \begin{pmatrix} \hat\beta_1\\ \hat\beta_2 \end{pmatrix}&=\begin{pmatrix} \left(X_1'X_1\right)^{-1}X_1'Y_1\\ \left(X_2'X_2\right)^{-1}X_2'Y_2 \end{pmatrix} \ . \\ \\ {\rm RSS}&=Y_1'Y_1+Y_2'Y_2-\hat\beta_1'X_1'Y_1-\hat\beta_2'X_2'Y_2 \ . \end{align} \]

將約束條件 \(\beta_1=\beta_2\xlongequal{def}\beta\) 代入原模型，得到約簡模型

\[\begin{pmatrix} Y_1\\ Y_2 \end{pmatrix}=\begin{pmatrix} X_1\\ X_2 \end{pmatrix}\beta+e \ , \quad e\sim N\left(0,\sigma^2I_{n_1+n_2}\right) \ . \]

計算得到約簡模型的最小二乘估計和殘差平方和為：

\[\begin{align} &\hat\beta_H=\left(X_1'X_1+X_2'X_2\right)^{-1}\left(X_1'Y_1+X_2'Y_2\right) \ . \\ \\ &{\rm RSS}_H=Y_1'Y_1+Y_2'Y_2-\hat\beta_H\left(X_1'Y_1+X_2'Y_2\right) \ . \end{align} \]

從而有

\[\begin{aligned} {\rm RSS}_H-{\rm RSS}&=\hat\beta_1'X_1'Y_1+\hat\beta_2'X_2'Y_2-\hat\beta_H\left(X_1'Y_1+X_2'Y_2\right) \\ \\ &=\left(\hat\beta_1-\hat\beta_H\right)'X_1'Y_1+\left(\hat\beta_2-\hat\beta_H\right)'X_2'Y_2 \ . \end{aligned} \]

因此檢驗統計量為

\[F_H=\frac{\left[\left(\hat\beta_1-\hat\beta_H\right)'X_1'Y_1+\left(\hat\beta_2-\hat\beta_H\right)'X_2'Y_2\right]\big/(p+1)}{\left[Y_1'Y_1+Y_2'Y_2-\hat\beta_1'X_1'Y_1-\hat\beta_2'X_2'Y_2\right]\big/(n_1+n_2-2p-2)} \ . \]

在 \(H_0\) 成立的條件下，\(F_H\sim F(p+1,n_1+n_2-2p-2)\) ，對於給定的顯著性水平 \(\alpha\) ，檢驗的拒絕域為

\[W=\left\{F_H>F_\alpha(p+1,n_1+n_2-2p-2)\right\} \ . \]

若拒絕原假設，即認為兩批數據不是來自同一線性回歸模型。否則，我們沒有充分的理由拒絕原假設，即認為它們來自同一線性回歸模型。

4.2 回歸方程的顯著性檢驗

所謂回歸方程的顯著性檢驗，指的是檢驗所有自變量的整體是否對因變量具有顯著的預測作用，如果將正態線性回歸模型寫成樣本回歸模型的形式，即

\[y_i=\beta_0+\beta_1x_{i1}+\cdots+\beta_px_{ip}+e_i \ , \quad e_i\sim N\left(0,\sigma^2\right) \ , \quad i=1,2,\cdots,n \ , \]

則檢驗問題可以寫為

\[H_0:\beta_1=\beta_2=\cdots=\beta_p=0 \ . \]

若拒絕原假設，則認為至少存在一個自變量 \(x_j\) 對因變量 \(y\) 具有顯著的預測作用。

容易發現，該假設問題是線性假設 \(A\beta=b\) 的特例，即取

\[A=\begin{bmatrix} 0 & 1 & 0 & \cdots & 0 \\ 0 & 0 & 1 & \cdots & 0 \\ \vdots & \vdots &\vdots & & \vdots \\ 0 & 0 & 0 & \cdots & 1 \end{bmatrix}=\begin{pmatrix} 0 &I_p \end{pmatrix} \ , \quad b=\begin{pmatrix} 0 & 0 & \cdots & 0 \end{pmatrix}' \ , \]

代入原模型得到約簡模型

\[y_i=\beta_0+e_i \ , \quad e_i\sim N\left(0,\sigma^2\right) \ , \quad i=1,2,\cdots,n \ , \]

容易得到約簡模型的最小二乘估計為 \(\tilde\beta_0=\bar{y}\) ，以及相應的殘差平方和為

\[{\rm RSS}_H=Y'Y-\bar{y}\boldsymbol 1_n'Y=\sum_{i=1}^ny_i^2-n\bar{y}^2=\sum_{i=1}^n\left(y_i-\bar{y}\right)^2={\rm TSS} \ . \]

可以發現，約簡模型的殘差平方和 \({\rm RSS}_H\) 正是原模型的總平方和 \({\rm TSS}\) ，這是因為約簡模型中不包含任何自變量，殘差平方和 \({\rm RSS}_H\) 完全是由 \(y_1,y_2,\cdots,y_n\) 的波動構成。

根據最小二乘法基本定理給出的檢驗統計量，則有

\[\begin{aligned} &{\rm RSS}=Y'Y-\hat\beta'X'Y \ , \\ \\ &{\rm RSS}_H-{\rm RSS}={\rm TSS}-{\rm RSS}={\rm ESS}=\hat\beta'X'Y-\bar{y}\boldsymbol 1_n'Y \ . \end{aligned} \]

注意到 \({\rm rank}(A)=p\) ，所以有

\[F_H=\frac{{\rm ESS}/p}{{\rm RSS}/(n-p-1)} \ . \]

在 \(H_0\) 成立的條件下，\(F_H\sim F(p,n-p-1)\) ，對於給定的顯著性水平 \(\alpha\) ，檢驗的拒絕域為

\[W=\left\{F_H>F_\alpha(p,n-p-1)\right\} \ . \]

關於回歸方程的顯著性檢驗，我們可以給出檢驗統計量 \(F_H\) 的一種統計解釋：

• 注意到約簡模型的 \({\rm RSS}_H\) 就是原模型中的總平方和 \({\rm TSS}\) ，可以分解為 \({\rm TSS}={\rm ESS}+{\rm RSS}\) 。
• 由於回歸平方和 \({\rm ESS}\) 反映了自變量對因變量總平方和的貢獻，殘差平方和 \({\rm RSS}\) 反映了模型誤差對因變量總平方和的貢獻，因此檢驗統計量 \(F_H\) 是把自變量的平均貢獻和模型誤差的平均貢獻進行比較。
• 當自變量的平均貢獻顯著大於模型誤差的平均貢獻時，我們有充分的理由相信回歸模型的自變量對因變量是由顯著的作用的，從而拒絕原假設。

我們也可以用方差分析表來表示這樣的關系：

\[\begin{array}{|c|c|c|c|c|c|} \hline \text{Source} & \text{Sum of Squares} & {\rm df} & \text{Mean Square} & F\text{-statistic} & p\text{-value} \\ \hline \text{Explained} & {\rm ESS} & p & {\rm ESS}/p & F_H & P(F>f_H) \\ \hline \text{Residual} & {\rm RSS} & n-p-1 & {\rm RSS}/(n-p-1) & & \\ \hline \text{Total} & {\rm TSS} & n-1 \\ \hline \end{array} \]

注意，以上的假設檢驗過程依賴於模型的正態性假設。若無正態性假設，我們需要在 \(F\) 統計量的大樣本理論框架下完成假設檢驗，即需要求出 \(F\) 統計量的極限分布，然后利用極限分布來構造拒絕域。但有時這個要求無法被滿足，另一種解決方案即為置換檢驗。

置換檢驗的思路如下：若因變量與自變量整體無顯著的相依關系，則可以認為因變量觀測值是隨機散布的。由於 \(F\) 統計量可以用來度量因變量與自變量整體的相依關系，\(F\) 值越大，相依關系越顯著。我們考慮以下問題：比目前觀測到的 \(F\) 統計量的樣本觀測值還要大的可能性有多大？若這個可能性很小，我們就有理由拒絕因變量與自變量整體無顯著相依關系的原假設。

置換檢驗的操作如下：對於原樣本計算出原始的 \(F\) 值，然后對因變量的 \(n\) 個觀測值的 \(n!\) 種全排列分別計算出 \(n!\) 個 \(F\) 值。計算這 \(n!\) 個 \(F\) 值中大於原始的 \(F\) 值的比例，並基於這一比例大小進行統計決策， 這就是置換檢驗。

4.3 回歸系數的顯著性檢驗

所謂回歸系數的顯著性檢驗，指的是對每個自變量逐一做顯著性檢驗。由於回歸方程的顯著性檢驗是對回歸模型的自變量進行的整體性檢驗，拒絕原假設僅意味着因變量 \(y\) 對自變量 \(x_1,x_2,\cdots,x_p\) 整體有依賴關系，但並不能排除 \(y\) 不依賴於其中的某些自變量。因此我們需要對回歸系數 \(\beta_j,\,1\leq j\leq p\) 進行顯著性檢驗。考慮檢驗問題：

\[H_j:\beta_j=0 \ , \quad j=1,2,\cdots,p \ , \]

可以等價地寫成線性假設 \(H_j:A\beta=b\) ，其中

\[b=0 \ , \quad \beta=\left(\beta_0,\cdots,\beta_{j-1}，\beta_{j},\beta_{j+1}，\cdots,\beta_p\right)' \ , \quad A=\left(0,\cdots,1,\cdots,0\right)' \ , \]

這里 \(A\) 的第 \(j+1\) 個元素為 \(1\) ，其余均為 \(0\) ，注意到 \(m={\rm rank}(A)=1\) 。

根據最小二乘法基本定理給出的檢驗統計量，則有

\[{\rm RSS}_H-{\rm RSS}=\left(A\hat\beta-b\right)'\left(A\left(X'X\right)^{-1}A'\right)^{-1}\left(A\hat\beta-b\right)=\frac{\hat\beta_j^2}{c_{j+1,j+1}} \ , \]

其中 \(c_{j+1,j+1}\) 為 \(\left(X'X\right)^{-1}\) 的第 \(j+1\) 個對角線元素，記

\[{\rm RSS}/(n-p-1)=\hat\sigma^2 \ , \]

所以檢驗統計量 \(F_H\) 在假設 \(H_j\) 成立的條件下滿足

\[F_H=\frac{({\rm RSS}_H-{\rm RSS})/m}{{\rm RSS}/(n-p-1)}=\frac{\hat\beta_j^2}{\hat\sigma^2c_{j+1,j+1}} \sim F(1,n-p-1) \ . \]

給定顯著性水平 \(\alpha\) ，當 \(F_H>F_\alpha(1,n-p-1)\) 時拒絕原假設 \(H_j\) ，否則接受 \(H_j\) 。

根據 \(F\) 分布與 \(t\) 分布的關系，檢驗統計量也可以取為

\[t_j=\frac{\hat\beta_j}{\sqrt{\hat\sigma^2c_{j+1,j+1}}} \ . \]

根據定理 3.2.4 可知 \(\hat\beta\sim N\left(\beta,\sigma^2\left(X'X\right)^{-1}\right)\) ，從而 \(\hat\beta_i\sim N\left(\beta_i,\sigma^2c_{j+1,j+1}\right)\) ，在 \(H_j\) 成立的條件下有

\[\frac{\hat\beta_j}{\sigma\sqrt{c_{j+1,j+1}}}\sim N(0,1) \ . \]

又因為 \({\rm RSS}/\sigma^2\sim\chi^2(n-p-1)\) 且與 \(\hat\beta_j\) 相互獨立，所以有

\[t_j=\frac{\hat\beta_j}{\hat\sigma\sqrt{c_{j+1,j+1}}}\sim t\left(n-p-1\right) \ . \]

給定顯著性水平 \(\alpha\) ，當 \(|t_j|>t_{\alpha/2}(n-p-1)\) 時拒絕原假設 \(H_j\) ，否則接受 \(H_j\) 。

和回歸方程的顯著性檢驗一樣，在沒有模型的正態性假設的情況下，我們可以用大樣本性質推導 \(t\) 分布的極限分布，從而計算檢驗的拒絕域。同理，我們也可以做回歸系數的置換檢驗，檢驗因變量 \(y\) 和某個自變量 \(x_j\) 是否有顯著的相依關系。

4.4 其它線性假設的檢驗

這里我們主要介紹幾種最小二乘法基本定理的應用，也就是在 \(A\) 和 \(b\) 取不同值時的檢驗問題。為了方便說明這幾種情況，我們以一個三元的回歸模型為例，模型設定為

\[y_i=\beta_0+\beta_1x_{i1}+\beta_2x_{i2}+\beta_3x_{i3}+e_i \ , \quad i=1,2,\cdots,n \ , \]

情況一：檢驗成對自變量。考慮假設檢驗問題為 \(x_2\) 和 \(x_3\) 是否至少有一個對因變量 \(y\) 有顯著的相依關系，等價於檢驗 \(H_0:\beta_2=\beta_3=0\) 。於是，約簡模型為

\[y_i=\beta_0+\beta_1x_{i1}+e_i \ , \quad i=1,2,\cdots,n \ , \]

由最小二乘法基本定理，給定顯著性水平 \(\alpha\) ，檢驗的拒絕域為

\[W=\left\{F_H=\frac{\left({\rm RSS}_H-{\rm RSS}\right)/2}{{\rm RSS}/(n-4)}>F_\alpha(2,n-4)\right\} \ . \]

情況二：檢驗回歸參數的子空間。考慮假設檢驗問題為 \(x_2\) 和 \(x_3\) 是否對因變量 \(y\) 具有相同程度的相依關系，等價於檢驗 \(H_0:\beta_2=\beta_3\) 。於是，約簡模型為

\[y_i=\beta_0+\beta_1x_{i1}+\beta_2\left(x_{i2}+x_{i3}\right)+e_i\ , \quad i=1,2,\cdots,n \ , \]

由最小二乘法基本定理，給定顯著性水平 \(\alpha\) ，檢驗的拒絕域為

\[W=\left\{F_H=\frac{{\rm RSS}_H-{\rm RSS}}{{\rm RSS}/(n-4)}>F_\alpha(1,n-4)\right\} \ . \]

情況三：檢驗回歸參數取特殊值。考慮假設檢驗問題為 \(x_3\) 的系數是否為 \(1\) ，等價於檢驗 \(H_0:\beta_3=1\) 於是，約簡模型為

\[y_i=\beta_0+\beta_1x_{i1}+\beta_2x_{i2}+1\times x_{i3}+e_i \ , \quad i=1,2,\cdots,n \ , \]

由最小二乘法基本定理，給定顯著性水平 \(\alpha\) ，檢驗的拒絕域為

\[W=\left\{F_H=\frac{{\rm RSS}_H-{\rm RSS}}{{\rm RSS}/(n-4)}>F_\alpha(1,n-4)\right\} \ . \]

類似的線性檢驗問題還有很多種不同的變形，在這里就不一列舉了。