3.6 多元线性回归的区间估计
3.6.1 回归系数的置信区间
当我们有了参数向量 \(\bm{\beta}\) 的估计量 \(\hat{\bm{\beta}}\) 时，需构造 \(\beta_j\) 的一个区间——以 \(\hat{\beta}_j\) 为中心的区间，该区间以一定概率包含 \(\beta_j\)。由式 \((3.4.5)\) 知 \(\hat{\beta_j}\) 的分布
\[\hat{\beta}_j \sim N(\beta_j, c_{jj} \sigma^2), \quad j = 0,1,\cdots,p \]
由此构造出一个枢轴变量
\[t_j = \frac{\hat{\beta}_j - \beta_j}{\sqrt{c_{jj}} \, \hat{\sigma}} \tag{3.6.1} \]
由定理可知 \(t_j\) 的分布与 \(t\) 检验统计量式 \((3.4.6)\) 一样，因此有
\[t_j \sim t(n-p-1) \]
给定显著性水平 \(\alpha\)，有
\[P \left( \left| \frac{\hat{\beta}_j - \beta_j}{\sqrt{c_{jj}} \, \hat{\sigma}} \right| < t_{\alpha / 2}(n-p-1)\right) = 1-\alpha \]
得到 \(\beta_j\) 的置信度为 \(1 - \alpha\) 的置信区间为
\[\left( \hat{\beta}_j - t_{\alpha / 2} \sqrt{c_{jj}} \, \hat{\sigma}, \hat{\beta}_j + t_{\alpha / 2} \sqrt{c_{jj}} \, \hat{\sigma}\right) \tag{3.6.2} \]
3.6.2 预测值的置信区间
预测和控制是回归模型最重要的应用，控制作为预测的反问题，此处只介绍预测。
与一元线性回归场合类似，预测分为单值预测和区间预测。考虑多元线性理论回归方程
\[y = \beta_0 + \beta_1 x_1 + \cdots + \beta_p x_p + \varepsilon \tag{3.6.3} \]
根据已知的介绍，用最小二乘估计得到回归参数估计值。考虑多元线性经验回归方程
\[\hat{y} = \hat{\beta}_0 + \hat{\beta}_1 x_1 + \cdots + \hat{\beta}_p x_p = \bm{x}' \hat{\bm{\beta}} \tag{3.6.4} \]
单值预测较为简单，当给定 \(\bm{x}_0\) 时，我们用点估计 $\hat{y}_0 = \bm{x}_0' \hat{\bm{\beta}} $ 作为因变量新值的预测值，显然该估计是无偏估计。
下面重点考虑区间预测。
(1) 因变量新值的区间预测
将 \(y_0 - \hat{y}_0\) 视为整体，容易知该随机变量是两个正态变量相减，因此整体服从正态分布。先求期望
\[E(y_0 - \hat{y}_0) = 0 \]
再考虑方差，预测值 \(\hat{y}_0\) 是先前独立观测到的随机变量 \(y_1\)，\(y_2\)，\(\cdots\)，\(y_n\) 的线性组合，现在因变量新值 \(y_0\) 与之前的观测值 \(y_i\) 是独立的，所以 \(y_0\) 与 \(\hat{y}_0\) 是独立的。此时有
\[D(y_0 - \hat{y}_0) = D(y_0) + D(\hat{y}_0) = \sigma^2 + \bm{x}_0' \sigma^2 (X'X)^{-1} \bm{x}_0 = \sigma^2 (1 + \bm{x}_0' (X'X)^{-1} \bm{x}_0) \]
由此构造出一个枢轴变量
\[t = \frac{y_0 - \hat{y}_0}{\sqrt{\sigma^2 (1 + \bm{x}_0' (X'X)^{-1} \bm{x}_0)}} \sim t(n-p-1) \]
给定显著性水平 \(\alpha\)，得到置信度为 \(1 - \alpha\) 的置信区间为
\[\hat{y}_0 - t_{\alpha / 2} (n-p-1) \sqrt{\sigma^2 (1 + \bm{x}_0' (X'X)^{-1} \bm{x}_0)} < y_0 < \hat{y}_0 + t_{\alpha / 2} (n-p-1) \sqrt{\sigma^2 (1 + \bm{x}_0' (X'X)^{-1} \bm{x}_0)} \]
(2) 因变量新值的平均值的区间预测
\[\hat{y}_0 = \bm{x}_0' \hat{\bm{\beta}} = \bm{x}_0' (X'X)^{-1} X' \bm{y} \]
由于
\[\bm{y} \sim N(X \bm{\beta}, \sigma^2 I_n) \]
得到
\[y_0 \sim N(\bm{x}_0' \bm{\beta}, \sigma^2) \]
得到
\[E(\hat{y}_0) = \bm{x}_0' (X'X)^{-1} X' E(\bm{y}) = \bm{x}_0' (X'X)^{-1} X'X \bm{\beta} = \bm{x}_0' \bm{\beta} \]
\[D(\hat{y}_0) = \bm{x}_0' (X'X)^{-1} X' D(\bm{y}) (\bm{x}_0' (X'X)^{-1} X')' = \sigma^2 \bm{x}_0' (X'X)^{-1} X' X (X'X)^{-1} \bm{x}_0 = \sigma^2 \bm{x}_0' (X'X)^{-1} \bm{x}_0 \]
故
\[\hat{y}_0 \sim N(\bm{x}_0' \bm{\beta}, \sigma^2 \bm{x}_0' (X'X)^{-1} \bm{x}_0 ) \]
由此构造出一个枢轴变量
\[t = \frac{\hat{y}_0 - \bm{x}_0' \bm{\beta}}{\sqrt{\hat{\sigma}^2 \bm{x}_0' (X'X)^{-1} \bm{x}_0 }} = \frac{\hat{y}_0 - E(y_0) }{\sqrt{\hat{\sigma}^2 \bm{x}_0' (X'X)^{-1} \bm{x}_0 }} \sim t(n-p-1) \]
给定显著性水平 \(\alpha\)，得到置信度为 \(1 - \alpha\) 的置信区间为
\[\hat{y}_0 - t_{\alpha / 2} (n-p-1) \sqrt{\hat{\sigma}^2 \bm{x}_0' (X'X)^{-1} \bm{x}_0 } < E(y \, | \, \bm{x}_0) < \hat{y}_0 + t_{\alpha / 2} (n-p-1) \sqrt{\hat{\sigma}^2 \bm{x}_0' (X'X)^{-1} \bm{x}_0 } \]
