数学 - 回归分析 - 第 3 章 多元线性回归 - 3.4 回归方程的显著性检验

3.4 回归方程的显著性检验

我们事先并不能断定随机变量 \(y\) 与变量 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_p\) 之间确有线性关系，在进行回归参数的估计之前，用多元线性回归方程去拟合这种关系，只是根据一些定性分析所做的一种线性假设。在求出线性回归方程后，还需对回归方程进行显著性检验。

下面介绍两种统计检验方法：一种是回归方程显著性的 \(F\) 检验；另一种是回归系数显著性的 \(t\) 检验。同时介绍衡量回归拟合程度的拟合优度检验。

3.4.1 \(F\) 检验

对多元线性回归方程的显著性检验要看自变量 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_p\) 从整体上对随机变量 \(y\) 是否有明显的影响。为此提出原假设

\[H_0 : \beta_1 = \beta_2 = \cdots = \beta_p = 0 \tag{3.4.1} \]

如果 \(H_0\) 被接受，则表明随机变量 \(y\) 与自变量 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_p\) 之间的关系由线性回归模型表示不合适。

类似于一元线性回归，为了建立对原假设进行检验的 \(F\) 统计量，仍然利用总离差平方和的分解式，即

\[\sum_{i=1}^n (y_i - \overline{y})^2 = \sum_{i=1}^n (\hat{y}_i - \overline{y})^2 + \sum_{i=1}^n (y_i - \hat{y}_i)^2 \]

简写为：

\[\text{SST} = \text{SSR} + \text{SSE} \tag{3.4.2} \]

在多元线性回归的场合，我们对上式做进一步解释。

定理 3.4.1

• \(\text{SSR} = \bm{y}'(H - \frac{1}{n} \bm{1} \bm{1}') \bm{y}\)

• \(\text{SSE} = \bm{y}'(I - H)\bm{y}\)

• \(\text{SST} = \bm{y}'(I - \frac{1}{n} \bm{1} \bm{1}')\bm{y}\)

证明：考虑 \(\text{SSE}\)，有

\[\text{SSE} = \bm{e}' \bm{e} = \left[ (I-H) \bm{y} \right]'\left[ (I-H) \bm{y} \right] = \bm{y}' (I - H) \bm{y} \]

考虑 \(\text{SSR}\)，有

\[\begin{align*} \text{SSR} & = \sum_{i=1}^n (\hat{y}_i - \overline{y})^2 \\ & = (\hat{\bm{y}} - \overline{y} \bm{1}_n)' (\hat{\bm{y}} - \overline{y} \bm{1}_n) \\ & = (H \bm{y} - \frac{1}{n} \bm{1}_n \bm{1}_n' \bm{y})' (H \bm{y} - \frac{1}{n} \bm{1}_n \bm{1}_n' \bm{y}) \\ & = \bm{y}' (H - \frac{1}{n} \bm{1}_n \bm{1}_n') \bm{y} \end{align*} \]

证毕。

引理 3.4.1

设 \(\bm{y} \sim N(\bm{\mu}, \sigma^2 I_n)\)，\(U=\bm{y}' A \bm{y}\)，\(V=\bm{y}' B \bm{y}\)，其中 \(A\)，\(B\) 为 \(n \times n\) 的矩阵。

• 若 \(A^2=A\)，则 \(U/\sigma^2 \sim \chi_{r,\lambda}^2\)，其中 \(r=\text{rank}(A)\)，\(\lambda = \bm{\mu}' A \bm{\mu} / \sigma^2\)。

• 若 \(AB=0\)，则 \(U、V\) 独立。

证明略。

利用上述引理可以得到下述重要的定理。

定理 3.4.2

随机向量 \(\bm{y} \sim N(X \bm{\beta}, \sigma^2 I_n)\)，则有

• 如果 \(\beta_1 = \beta_2 = \cdots = \beta_p=0\)，则 \(\text{SSR} / \sigma^2 \sim \chi^2(p)\)；

• \(\text{SSE} / \sigma^2 \sim \chi^2(n-p-1)\)；

• \(\text{SSR}\) 与 \(\text{SSE}\) 独立。

证明： 证明第一点。由于 \(\beta_1 = \beta_2 = \cdots = \beta_p=0\)，因此有

\[E(y_i) = \beta_0, \quad E(\bm{y}) = \beta_0 \bm{1}_n \]

令 \(A = H - \frac{1}{n} \bm{1}_n \bm{1}_n'\)，可以验证

\[A^2 = (H - \frac{1}{n} \bm{1}_n \bm{1}_n')^2 = (H^2 - H \frac{1}{n} \bm{1}_n \bm{1}_n' - \frac{1}{n} \bm{1}_n \bm{1}_n' H + \frac{1}{n} \bm{1}_n \bm{1}_n')=A \]

因此可知 \(A\) 是一个对称幂等矩阵，由引理 \((3.4.1)\) 得到自由度

\[r = \text{rank} (A) = \text{tr} (A) = p+1 - 1=p \]

得到非中心参数

\[\lambda = \frac{1}{\sigma^2} (\beta_0 \bm{1}_n)' (H - \frac{1}{n} \bm{1}_n \bm{1}_n') (\beta_0 \bm{1}_n) = 0 \]

证明第二点。由于

\[\text{SSE} = \bm{y}'(I - H)\bm{y} \]

因此令 \(B = I - H\)，可知 \(B\) 是一个对称幂等阵，由引理 \((3.4.1)\) 得到自由度

\[r = \text{rank} (B) = \text{rank} (I-H) = \text{tr} (I-H) = n - p - 1 \]

得到非中心参数

\[\lambda = \frac{1}{\sigma^2} (X \bm{\beta})' (I - H) (X \bm{\beta}) = 0 \]

证毕。

构造 \(F\) 检验统计量如下：

\[F = \frac{\text{SSR} / p}{\text{SSE} / (n-p-1)} \tag{3.4.3} \]

对构造的 \(F\) 检验统计量，我们有

定理 3.4.3

在正态假设下，当原假设 \(H_0 : \beta_1 = \beta_2 = \cdots = \beta_p = 0\) 成立时，\(F\) 检验统计量服从自由度为 \((p, n-p-1)\) 的 \(F\) 分布。

证明：由定理 \(3.4.2\) 可知，在正态假设下，原假设 \(H_0\) 成立时有

\[\text{SSR} / \sigma^2 \sim \chi^2(p), \quad \text{SSE} / \sigma^2 \sim \chi^2(n-p-1) \]

由 \(F\) 分布定义知

\[F \sim F(p, n-p-1) \]

证毕。

我们可以利用 \(F\) 统计量对回归方程的总体显著性进行检验。对于给定的数据，计算出 \(\text{SSR}\) 和 \(\text{SSE}\)，进而得到 \(F\) 值。我们可以得到类似一元线性回归场合的方差分析表。

\[\begin{array}{|c|c|c|c|c|} \hline {方差来源} & {自由度} & {平方和} & {均方} & {F 值} & {P 值}\\ \hline {回归} & {p} & {\text{SSR}} & {\text{SSR}/p} & {\frac{\text{SSR} / p}{\text{SSE} / (n-p-1)}} & {P(F > F 值) = P值} \\ \hline {残差} & {n - p-1} & {\text{SSE}} & {\text{SSE} / (n-p-1)} & {} \\ \hline {总和} & {n - 1} & {\text{SST}} & {} & {} \\ \hline \end{array} \]

给定显著性水平 \(\alpha\)，得到临界值 \(F_{\alpha}(p, n-p-1)\)。

当 \(F > F_{\alpha}(p, n-p-1)\)，拒绝原假设 \(H_0\)，认为在显著性水平 \(\alpha\) 下，\(y\) 与 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_p\) 存在显著的线性关系。

当 \(F \leqslant F_{\alpha}(p, n-p-1)\)，接受原假设 \(H_0\)，认为在显著性水平 \(\alpha\) 下，\(y\) 与 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_p\) 不存在显著的线性关系。

与一元线性回归一样，也可以根据 \(P\) 值做检验，当 \(P\) 值 \(< \alpha\) 时，拒绝原假设 \(H_0\)；当 \(P\) 值 \(\geqslant \alpha\) 时，接受原假设 \(H_0\)。

3.4.2 \(t\) 检验

在多元线性回归中，回归方程显著并不意味着每个自变量对 \(y\) 的影响都显著，我们想从回归方程中剔除那些次要的、可有可无的变量，重新建立更为简单的回归方程（降低模型复杂度，防止过拟合），所以需要对每个自变量进行显著性检验。

显然，如果某个自变量 \(x_j\) 对 \(y\) 的作用不显著，那么在回归模型中，它的系数 \(\beta_j\) 就取值为 \(0\)。因此检验变量 \(x_j\) 是否显著，等价于检验假设

\[H_{0j}:\beta_j = 0, \quad j = 1,2,\cdots,p \tag{3.4.4} \]

如果接受原假设 \(H_{0j}\)，则 \(x_j\) 不显著；如果拒绝原假设 \(H_{0j}\)，则 \(x_j\) 是显著的。

由 \(3.3.6\) 的正态性得到

\[\hat{\bm{\beta}} \sim N(\bm{\beta}, \sigma^2 (X'X)^{-1}) \]

令 \((X'X)^{-1} = (c_{ij})\)，于是有

\[E(\hat{\beta}_j) = \beta_j, \quad \text{var}(\hat{\beta}_j) = c_{jj} \sigma^2 \]

\[\hat{\beta}_j \sim N(\beta_j, c_{jj} \sigma^2), \quad j = 0,1,\cdots,p \tag{3.4.5} \]

由此构成 \(t\) 统计量

\[t_j = \frac{\hat{\beta}_j}{\sqrt{c_{jj}} \, \hat{\sigma}} \tag{3.4.6} \]

其中 \(\hat{\sigma}\) 是回归标准差：

\[\hat{\sigma} = \sqrt{\frac{1}{n-p-1} \sum_{i=1}^n e_i^2} = \sqrt{\frac{1}{n-p-1} \sum_{i=1}^n (y_i - \hat{y}_i)^2} \tag{3.4.7} \]

对构造的 \(t\) 检验统计量，我们有

定理 3.4.4

在正态假设下，当原假设 \(H_{0j} : \beta_j = 0\) 成立时，\(t_j\) 检验统计量服从自由度为 \(n-p-1\) 的 \(t\) 分布。

证明：在正态假设下，当原假设 \(H_{0j} : \beta_j = 0\) 成立时，有

\[U = \frac{\hat{\beta}_j}{\sqrt{c_{jj}} \, \sigma} \sim N(0, 1) \]

由定理 \(3.4.2\) 可得

\[V = \frac{(n-p-1) \hat{\sigma}^2}{\sigma^2} \sim \chi^2(n-p-1) \]

则有

\[t_j = \frac{\hat{\beta}_j}{\sqrt{c_{jj}} \, \hat{\sigma}} = \frac{\hat{\beta}_j}{\sqrt{c_{jj}} \, \sigma} \frac{\sigma}{\hat{\sigma}} = \frac{U}{\frac{\hat{\sigma}}{\sigma}} = \frac{U}{\sqrt{V/(n-p-1)}} \sim t(n-p-1) \]

证毕。

给定显著性水平 \(\alpha\)，查出双侧检验的临界值 \(t_{\alpha/2}\)。

当 \(|t_j| \geqslant t_{\alpha / 2}\)，拒绝原假设 \(H_{0j}\)，认为 \(\beta_{j}\) 显著不为 \(0\)，自变量 \(x_j\) 对因变量 \(y\) 的线性效果显著。

当 \(|t_j| < t_{\alpha / 2}\)，接受原假设 \(H_{0j}\)，认为 \(\beta_{j}\) 显著为 \(0\)，自变量 \(x_j\) 对因变量 \(y\) 的线性效果不显著。

在教材上给出一个关于城镇消费性支出的例子，由 \(F\) 检验可以知道回归方程整体是显著的，即 \(9\) 个自变量作为一个整体对因变量 \(y\) 有十分显著的影响，但软件计算发现，关于 \(\beta_j\) 的 \(t\) 统计量 \(t_j\)，在显著性水平 \(\alpha = 0.05\) 时只有 \(x_1\)，\(x_2\)，\(x_3\)，\(x_5\) 通过了显著性检验。这个例子说明，尽管回归方程高度显著，但也会出现某些自变量 \(x_j\) 对 \(y\) 无显著影响的情况。

多元回归中，并不是包含在回归方程中的自变量越多越好（之后有详细讨论）。在此介绍一种简单的剔除多余变量的方法——后退法。

当有多个自变量对因变量 \(y\) 无显著影响时，由于自变量之间的交互作用，不能一次剔除掉所有不显著的变量。原则上每次只剔除一个变量，且先剔除其中 \(|t|\) 值最小（或 \(|P|\) 值最大）的一个变量，然后再对求得的新的回归方程进行检验，有不显著的变量再从中选出最不显著的进行剔除，直到保留的变量都对 \(y\) 有显著影响为止。

使用后退法时，由于各个自变量的单位不同，注意标准化数据。

3.4.3 \(t\) 检验与 \(F\) 检验的关系：偏 \(F\) 检验

在一元线性回归中，回归系数显著性的 \(t\) 检验与回归方程显著性的 \(F\) 检验是等价的，但在多元线性回归中，这两种检验并不等价。\(F\) 检验显著，只能说明 \(y\) 对自变量 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_p\) 整体的线性回归效果是显著的，不能说明 \(y\) 对每个自变量 \(x_i\) 的回归效果都显著。

从另一个角度考虑自变量 \(x_j\) 的显著性。

\(y\) 对自变量 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_p\) 线性回归的残差平方和为 \(\text{SSE}\)，回归平方和为 \(\text{SSR}\)。在剔除掉 \(x_j\) 后，用 \(y\) 对其余的 \(p-1\) 个自变量做回归，记所得的残差平方和为 \(\text{SSE}_{(j)}\)，回归平方和为 \(\text{SSR}_{(j)}\)，则自变量 \(x_j\) 对回归的贡献为

\[\Delta \text{SSR}_{(j)} = \text{SSR} - \text{SSR}_{(j)} \tag{3.4.8} \]

称上式为 \(x_j\) 的偏回归平方和。由此构造偏 \(F\) 检验统计量

\[F_j = \frac{\Delta \text{SSR}_{(j)} / 1}{\text{SSE} / (n-p-1)} \tag{3.4.9} \]

定理 3.4.5

在正态假设下，当原假设 \(H_{0j}:\beta_j = 0\) 成立时，偏 \(F\) 检验统计量 \(F_j\) 服从自由度为 \((1,n-p-1)\) 的 \(F\) 分布。

证明：由定理 \(3.4.1\)，我们有

\[\begin{align*} \Delta \text{SSR}_{(j)} & = \text{SSR} - \text{SSR}_{(j)} \\ & = \bm{y}'(H - \frac{1}{n} \bm{1} \bm{1}') \bm{y} - \bm{y}'(H^* - \frac{1}{n} \bm{1} \bm{1}') \bm{y} \\ & = \bm{y}'(H - H^*) \bm{y} \\ & = \bm{y}'( \begin{bmatrix} X_1 & \bm{x_j} & X_2 \end{bmatrix} (\begin{bmatrix} X_1 & \bm{x_j} & X_2 \end{bmatrix}' \begin{bmatrix} X_1 & \bm{x_j} & X_2 \end{bmatrix})^{-1} \begin{bmatrix} X_1 & \bm{x_j} & X_2 \end{bmatrix}' y \\ & = \hat{\beta}_j^2 / c_{jj} \end{align*} \]

在正态假设下，当原假设 \(H_0\) 成立时，由式 \((3.4.5)\)

\[\frac{\Delta \text{SSR}_{(j)}}{\sigma^2} = \frac{\hat{\beta}_j^2}{c_{jj} \sigma^2} = \left( \frac{\hat{\beta}_j}{\sqrt{c_{jj}} \, \sigma} \right)^2 \sim \chi^2(1) \]

证毕。

可以证明上式给出的偏 \(F\) 检验与 \(t\) 检验是一致的，具体有下述定理

定理 3.4.6

对式 \((3.4.9)\) 的偏 \(F\) 检验统计量和式 \((3.4.6)\) 的 \(t\) 检验统计量有关系式

\[F_j = t_j^2 \]

证明：有

\[t_j^2 = \frac{\hat{\beta}_j^2 / c_{jj}}{\hat{\sigma}^2} = \frac{\text{SSR} - \text{SSR}_{(j)}}{\text{SSE} / (n-p-1)} = \frac{\Delta \text{SSR}_{(j)} / 1}{\text{SSE} / (n-p-1)} = F_j \tag{3.4.10} \]

证毕。
当从回归方程中剔除变元时，回归平方和减少，残差平方和增加。反之，往回归方程中引入变元，回归平方和增加，残差平方和减少，且两者的增减量相等。具体地，根据平方和分解式可得下式关系

\[\Delta \text{SSR}_{(j)} = \Delta \text{SSE}_{(j)} = \text{SSE}_{(j)} - \text{SSE} \]

3.4.4 拟合优度

拟合优度用于检验回归方程对样本观测值的拟合程度。在一元线性回归中，定义了样本决定系数 \(r^2 = \text{SSR} / \text{SST}\)，在多元线性回归中，同样可以定义样本决定系数为：

\[R^2 = \frac{ \text{SSR} }{ \text{SST} } = 1 - \frac{ \text{SSE} }{ \text{SST} } \tag{3.4.11} \]

样本决定系数 \(R^2\) 的取值在 \([0,1]\) 区间内，\(R^2\) 越接近 \(1\)，表明回归拟合的效果越好；\(R^2\) 越接近 \(0\)，表明回归拟合的效果越差。与 \(F\) 检验相比，\(R^2\) 可以更清楚直观地反映回归拟合的效果，但是并不能作为严格的显著性检验。

\[R = \sqrt{R^2} = \sqrt{\frac{ \text{SSR} }{ \text{SST} }} \tag{3.4.14} \]

称上式给出的 \(R\) 为 \(y\) 关于 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_p\) 的样本复相关系数。在两个变量的简单相关系数中，相关系数有正负之分，而复相关系数表示的是因变量 \(y\) 与全体自变量之间的线性关系，它的符号不能由某一个自变量的回归系数的符号确定，因而都取正号。。。