数学 - 回归分析 - 第 2 章 一元线性回归 - 2.4 回归方程的显著性检验

2.4 回归方程的显著性检验

方程 \(\hat{y} = \hat{\beta}_0 + \hat{\beta}_1 x\) 是否真正描述了变量 \(y\) 与变量 \(x\) 之间的统计规律性，还需对回归方程进行统计检验。以下检验内容若无特别声明，都是在正态假设 \((1.3.4)\) 下进行的。

由于假设检验的回归方程都是一元线性回归，因此对回归系数的显著性检验与对回归方程的显著性检验一致。

检验的原假设是：

\[H_0 : \beta_1 = 0 \tag{2.4.1} \]

检验的对立假设是：

\[H_1 : \beta_1 \neq 0 \tag{2.4.2} \]

2.4.1 \(F\) 检验

\(F\) 检验是根据平方和分解式，直接从回归效果检验回归方程的显著性。平方和分解式为：

\[\sum_{i=1}^n (y_i - \overline{y})^2 = \sum_{i=1}^n (\widehat{y}_i - \overline{y})^2 + \sum_{i=1}^n (y_i - \widehat{y}_i)^2 \tag{2.4.3} \]

我们详细解释下各项：

• \(\sum_{i=1}^n (y_i - \overline{y})^2\) 称为总离差平方和，简记为 \(\text{SST}\)。

• \(\sum_{i=1}^n (\widehat{y}_i - \overline{y})^2\) 称为回归平方和，简记为 \(\text{SSR}\)。

• \(\sum_{i=1}^n (y_i - \widehat{y}_i)^2\) 称为残差平方和，简记为 \(\text{SSE}\)。

因而平方和分解式可以简写为：

\[\text{SST} = \text{SSR} + \text{SSE} \tag{2.4.4} \]

总离差平方和 \(\text{SST}\) 反映因变量 \(y\) 的波动程度或称不确定性。在建立了 \(y\) 对 \(x\) 的线性回归方程后，总离差平方和 \(\text{SST}\) 可分解成回归平方和 \(\text{SSR}\) 和 残差平方和 \(\text{SSE}\)。

\(\text{SSR}\) 由回归方程确定，也就是由自变量 \(x\) 的波动引起，\(\text{SSE}\) 是不能由自变量解释的波动，是由 \(x\) 之外的未加控制的因素引起的。因此，回归平方和 \(\text{SSR}\) 越大，回归效果越好，据此构造 \(F\) 检验统计量如下：

\[F = \frac{\text{SSR}/1}{\text{SSE}/(n-2)} \tag{2.4.5} \]

定理 2.4.1

当原假设 \(H_0\) 成立时，式 \((2.4.5)\) 构造的 \(F\) 检验统计量服从自由度为 \((1,n-2)\) 的 \(F\) 分布。

证明：
考虑回归平方和 \(\text{SSR}\)

\[\begin{align*} \text{SSR} & = \sum_{i=1}^n (\hat{y}_i - \overline{y})^2 \\ & = \sum_{i=1}^n (\hat{\beta}_0 + \hat{\beta}_1 x_i - \overline{y})^2 \\ & = \sum_{i=1}^n (\overline{y} - \hat{\beta}_1 \overline{x} + \hat{\beta}_1 x_i - \overline{y})^2 \\ & = \hat{\beta}_1^2 \sum_{i=1}^n (x_i - \overline{x})^2 = \hat{\beta}_1^2 L_{xx} \end{align*} \]

当原假设 \(H_0\) 成立时，由式 \((2.3.7)\)，可知对回归平方和有

\[\frac{\text{SSR}}{\sigma^2} = \frac{\hat{\beta}_1^2 L_{xx}}{\sigma^2} = \left( \frac{\hat{\beta}_1}{\sqrt{\sigma^2 / L_{xx}}} \right)^2 \sim \chi^2(1) \]

考虑残差平方和 \(\text{SSE}\)，由定理 \(3.4.2\) 可得

\[\frac{\text{SSE}}{\sigma^2} \sim \chi^2(n-2) \]

又由定理 \(3.4.2\) 可知 \(\text{SSE}\) 和 \(\text{SSR}\) 是相互独立的，故有

\[F = \frac{\text{SSR} / 1}{\text{SSE} / (n-2)} = \frac{\frac{\text{SSR}}{\sigma^2} / 1}{\frac{\text{SSE}}{\sigma^2} / (n-2)} \sim F(1, n-2) \]

证毕。

正态假设下，当原假设 \(H_0\) 成立时，\(F\) 服从自由度为 \((1,n-2)\) 的 \(F\) 分布。当 \(F\) 值大于临界值 \(F_{\alpha}(1,n-2)\) 时，拒绝 \(H_0\)，说明回归方程显著，\(x\) 与 \(y\) 有显著的线性关系。也可以根据 \(P\) 值做检验，具体检验过程可以在方差分析表中进行。如下表所示：

\[\begin{array}{|c|c|c|c|c|} \hline {方差来源} & {自由度} & {平方和} & {均方} & {F 值} & {P 值}\\ \hline {回归} & {1} & {\text{SSR}} & {\text{SSR}/1} & {\frac{\text{SSR} / 1}{\text{SSE} / (n-2)}} & {P(F > F 值) = P值} \\ \hline {残差} & {n - 2} & {\text{SSE}} & {\text{SSE} / (n-2)} & {} \\ \hline {总和} & {n - 1} & {\text{SST}} & {} & {} \\ \hline \end{array} \]

2.4.2 \(t\) 检验

回归分析中，\(t\) 检验用于检验回归系数的显著性。

回归系数的显著性检验就是检验自变量 \(x\) 对因变量 \(y\) 的影响程度是否显著。比如，若检验后发现原假设 \(H_0\) 成立，则自变量 \(x\) 的变化对因变量 \(y\) 没有真正的影响。

由于 \(\hat{\beta}_1 \sim N(\beta_1, \frac{\sigma^2}{L_{xx}})\)，因此当原假设 \(H_0\) 成立时，有

\[\hat{\beta}_1 \sim N(0, \frac{\sigma^2}{L_{xx}}) \tag{2.4.6} \]

此时 \(\hat{\beta}_1\) 在 \(0\) 附近波动，构造 \(t\) 统计量

\[t = \frac{\hat{\beta}_1}{\sqrt{\hat{\sigma}^2 / L_{xx}}} \tag{2.4.7} \]

上式中，

\[\hat{\sigma}^2 = \frac{1}{n-2} \sum_{i=1}^n e_i^2 = \frac{1}{n-2} \sum_{i=1}^n (y_i - \hat{y}_i)^2 \tag{2.4.8} \]

式 \((2.4.8)\) 是 \(\sigma^2\) 的无偏估计，称 \(\hat{\sigma}\) 为回归标准差。

定理 2.4.2

当原假设 \(H_0\) 成立时，式 \((2.4.7)\) 构造的 \(t\) 检验统计量服从自由度为 \(n-2\) 的 \(t\) 分布。

证明：当原假设 \(H_0\) 成立时，有

\[U = \frac{\hat{\beta}_1}{\sqrt{\sigma^2 / L_{xx}}} \sim N(0, 1) \]

由定理 \(3.4.2\) 可得

\[V = \frac{(n-2) \hat{\sigma}^2}{\sigma^2} = \frac{\text{SSE}}{\sigma^2} \sim \chi^2(n-2) \]

证毕。

当原假设 \(H_0\) 成立时，式 \((2.4.7)\) 构造的 \(t\) 统计量服从自由度为 \(n-2\) 的 \(t\) 分布。我们给定显著性水平 \(\alpha\)，双侧检验的临界值为 \(t_{\alpha/2}\)。

• 当 \(\left| t \right| \geqslant t_{\alpha/2}\) 时，拒绝原假设 \(H_0\)，认为 \(\beta_1\) 显著不为 \(0\)。

• 当 \(\left| t \right| < t_{\alpha/2}\) 时，接受原假设 \(H_0\)，认为 \(\beta_1\) 显著为 \(0\)。

2.4.3 相关系数显著性检验

由于一元线性回归方程讨论的是变量 \(y\) 与变量 \(x\) 之间的线性关系，所以可以用变量 \(x\) 与 变量 \(y\) 之间的相关系数来检验回归方程的显著性。设 \((x_i,y_i)\) 是 \(n\) 组样本观测值，我们称

\[\begin{align*} r & = \frac{\sum_{i=1}^n (x_i - \overline{x}) (y_i - \overline{y})}{\sqrt{\sum_{i=1}^n (x_i - \overline{x})^2 \sum_{i=1}^n (y_i - \overline{y})^2}} \\ & = \frac{L_{xy}}{\sqrt{L_{xx} L_{yy}}} = \hat{\beta}_1 \sqrt{ \frac{L_{xx}}{L_{yy}} } \end{align*} \tag{2.4.9} \]

需要指出，相关系数有一个明显的缺点：相关系数接近 \(1\) 的程度与数据组数 \(n\) 有关。这容易给我们一种假象。因此当 \(n\) 较小时，相关系数的绝对值容易接近 \(1\)；当 \(n\) 较大时，相关系数的绝对值容易偏小。特别是当 \(n=2\) 时，相关系数的绝对值总为 \(1\)。因此在样本量 \(n\) 较小时，我们仅凭相关系数较大就说变量 \(x\) 与 \(y\) 之间存在密切的线性关系，就显得过于草率。在“多元线性回归”中，会更详细地讨论该问题。

对相关系数可以构造检验表，表中是相关系数绝对值的临界值。通常如果 \(|r|\) 大于表中 \(\alpha = 5%\) 对应的值，但小于表中 \(\alpha = 1%\) 对应的值，称 \(x\) 与 \(y\) 有显著的线性关系；如果 \(|r|\) 大于表中 \(\alpha = 1%\) 对应的值，称 \(x\) 与 \(y\) 有高度显著的线性关系；如果 \(|r|\) 小于表中 \(\alpha = 5%\) 对应的值，称 \(x\) 与 \(y\) 没有明显的线性关系。

我们称 \(r\) 为简单相关系数，简称相关系数。相关系数 \(r\) 表示了 \(x\) 与 \(y\) 的线性关系的密切程度。我们可以构造检验统计量：

\[t = \frac{\sqrt{n-2} \, r}{\sqrt{1-r^2}} \tag{2.4.10} \]

可以证明上述统计量 \(t\) 服从自由度为 \(n-2\) 的 \(t\) 分布。给定显著性水平 \(\alpha\)，当 \(|t| > t_{\alpha / 2}(n-2)\) 时，拒绝原假设，认为 \(y\) 与 \(x\) 的简单回归系数显著不为 \(0\)；否则接受原假设，认为 \(y\) 与 \(x\) 的简单回归系数显著为 \(0\)。

式 \((2.4.9)\) 的相关系数 \(r\) 是用样本计算得到的，也称为样本相关系数。假设我们观测了变量 \((x,y)\) 的所有取值，此时计算得到的相关系数称为总体相关系数，记作 \(\rho\)，它反映了两变量之间的真实（线性）相关程度。样本相关系数 \(r\) 是总体相关系数 \(\rho\) 的估计值，因此存在误差。

一般来说，可将两变量间相关程度的强弱分为以下几个等级：

• 当 \(|\rho| \geqslant 0.8\) 时，视为高度相关。

• 当 \(0.5 \leqslant |\rho| < 0.8\) 时，视为中度相关。

• 当 \(0.3 \leqslant |\rho| < 0.5\) 时，视为低度相关。

• 当 \(0 \leqslant |\rho| < 0.3\) 时，表明两变量之间的相关程度极弱。

• 当 \(\rho = 0\) 时，视为两变量不相关。

实际应用中我们需要注意以下几点：

• 我们往往只能得到样本相关系数 \(r\)，而无法得到总体相关系数 \(\rho\)。用样本相关系数 \(r\) 判定两变量间相关程度的强弱时一定要注意样本量的大小，只有当样本量较大时用样本相关系数 \(r\) 判定两变量间相关程度的强弱才能令人信服。

• 要正确区分相关系数显著性检验与相关程度强弱的关系，相关系数的 \(t\) 检验显著只是表明总体相关系数 \(\rho\) 显著不为 \(0\)，并不具体表示相关程度的强弱。比如，如果 \(A\)，\(B\) 两位同学，\(A\) 同学计算出 \(r=0.8\)，但是显著性检验没有通过；\(B\) 同学计算出 \(r=0.1\)，但该相关系数高度显著。而这两位同学的答案有可能都正确，造成差异的具体原因是样本量。观察检验统计量 \(t\) 的表示式 \((2.4.10)\)，可以看到 \(t\) 值不仅与样本相关系数 \(r\) 有关，而且与样本量 \(n\) 有关，对同一个相关系数 \(r\)，样本量 \(n\) 大时 \(|t|\) 就越大，样本量 \(n\) 小时 \(|t|\) 就越小。

2.4.4 三种检验关系

有三种检验模型：回归系数的 \(t\) 检验、回归方程的 \(F\) 检验、相关系数的显著性检验。

定理 2.4.3

对于一元线性回归，这三种检验的结果完全一致。可以证明，回归系数的 \(t\) 检验与相关系数的显著性检验是完全等价的，即式 \((2.4.7)\) 与式 \((2.4.10)\) 是相等的，而 \((2.4.5)\) 的 \(F\) 统计量则是这 \(t\) 统计量的平方。

证明：先证明两个 \(t\) 检验统计量是相等的。

\[\begin{align*} t & = \frac{\hat{\beta}_1}{\sqrt{\hat{\sigma}^2 / L_{xx}}} = \frac{r \sqrt{ \frac{L_{yy}}{L_{xx}} } \sqrt{L_{xx}}}{\sqrt{\hat{\sigma}^2}} = \frac{r \sqrt{L_{yy}}}{ \sqrt{\text{SSE}/(n-2)} } \\ & = \frac{\sqrt{n-2} \, r \sqrt{\text{SST}}}{ \sqrt{\text{SSE}} } = \frac{\sqrt{n-2} \, r}{ \sqrt{1-\frac{\text{SSR}}{\text{SST}}} } = \frac{\sqrt{n-2} \, r}{ \sqrt{1-r^2} } \end{align*} \]

上式最后一个等式用了下一节介绍的决定系数。

在定理 \(2.4.1\) 证明过程可以得到回归平方和 \(\text{SSR} = L_{xx} \hat{\beta}_1^2\)再证明 \(F\) 统计量是 \(t\) 统计量的平方。

\[t^2 = \frac{\hat{\beta}_1^2}{\hat{\sigma}^2 / L_{xx}} = \frac{L_{xx} \hat{\beta}_1^2}{\text{SSE} / (n-2)} = \frac{\text{SSR} / 1}{\text{SSE} / (n-2)} = F \]

证毕。

注意，对于多元线性回归，这三种检验所考虑的问题已有本质的不同，所以并不等价，分别是三种不同的检验。

2.4.5 决定系数

我们知道，在总离差平方和中回归平方和所占的比重越大，则线性回归效果越好，说明回归直线与样本观测值的拟合优度越好；如果残差平方和所占的比重大，则回归直线与样本观测值拟合得并不理想。

把回归平方和与总离差平方和之比定义为决定系数，也称为判定系数，记为 \(r^2\)。

\[r^2 = \frac{\text{SSR}}{\text{SST}} = \frac{\sum_{i=1}^n (\widehat{y}_i - \overline{y})^2}{\sum_{i=1}^n (y_i - \overline{y})^2} \tag{2.4.11} \]

由关系式

\[\sum_{i=1}^n (\hat{y}_i - \overline{y})^2 = \hat{\beta}^2_1 \sum_{i=1}^n (x_i - \overline{x})^2 \tag{2.4.12} \]

可以证明式 \((2.4.11)\) 的 \(r^2\) 正好是式 \((2.4.9)\) 中相关系数 \(r\) 的平方。即

\[r^2 = \frac{\text{SSR}}{\text{SST}} = \frac{L_{xy}^2}{L_{xx}L_{yy}} = (r)^2 \tag{2.4.13} \]

决定系数 \(r^2\) 是一个反映回归直线与样本观测值拟合优度的相对指标，是因变量的变异中能用自变量解释的比例。其数值在 \(0-1\) 之间，可用百分数表示。如果决定系数 \(r^2\) 接近 \(1\)，说明因变量不确定性的绝大部分能用回归方程解释，回归方程拟合优度较好；反之，如果 \(r^2\) 不大，说明回归方程的效果不好，应进行修改，可以考虑增加新的自变量或者使用曲线回归。

注意：

• 决定系数随自变量的增加而增加。

• 决定系数的值与 \(n\) 有关。

• 决定系数大并不保证自变量 \(x\) 与因变量 \(y\) 的关系是线性的。

需注意以下几个方面：

• 第一，当样本量较小时，此时即使得到一个较大的决定系数，这个决定系数也很可能是虚假现象。为此，可以结合样本量和自变量个数对决定系数进行调整，计算调整的决定系数。具体计算在之后章节会介绍。

• 第二，即使样本量并不小，决定系数很大，也不能肯定自变量与因变量之间的关系就是线性的，这是因为有可能曲线回归的效果更好。尤其是当自变量的取值范围很窄时，线性回归的效果通常较好，但这样的线性回归方程是不能用于外推预测的。可以用模型失拟检验来判定因变量与自变量之间的真实函数关系到底是线性关系还是曲线关系，如果是曲线关系到底是哪一种曲线关系。

• 第三，当计算出一个很小的决定系数时，此时无论回归方程显著性检验结果是否显著，这时都应该尝试改进回归的效果。