数学 - 回归分析 - 第 2 章 一元线性回归 - 2.5 残差分析

2.5 残差分析

一个线性回归方程通过了 \(t\) 检验或 \(F\) 检验，只是表明变量 \(x\) 与变量 \(y\) 之间的线性关系是显著的，或者说线性回归方程是有效的，但这并不能保证数据拟合的效果好，也不能排除由于某些原因导致的数据不可靠，比如异常值的出现、周期性因素的干扰等。

只有当与模型中的残差项有关的假定满足时，才能放心使用回归模型。因此，在利用回归方程做分析和预测之前，应该用残差图帮助我们诊断回归效果与样本数据的质量，并检查模型是否满足基本假设。

2.5.1 残差概念与残差图

定义 2.5.1 残差

\(e_i = y_i - \widehat{y}_i\)

残差是实际观测值 \(y\) 与通过回归方程给出的回归值之差，因此残差 \(e_i\) 可以看作误差项 \(\varepsilon_i\) 的估计值。

• 残差项 \(e_i = y_i - \widehat{\beta}_0 - \widehat{\beta}_1 x_i\)

• 误差项 \(\varepsilon_i = y_i - \beta_0 - \beta_1 x_i\)

以自变量 \(x\) 作横轴（或以因变量 \(y\) 作横轴），以残差作纵轴，将相应的残差点画在直角坐标系上，即可得到残差图，残差图帮助我们对数据质量做一些分析。下图展示了一些常见的残差图，这些残差图各不相同，它们分别说明样本数据的不同表现情况。

一般认为，如果一个回归模型满足所给出的基本假定，所有残差应在 \(e=0\) 附近随机变化，并在变化幅度不大的一个区域内。

图（a）的情况，表明回归模型满足基本假设。

图（b）的情况，表明 \(y\) 的观测值的方差并不相同，而是随着 \(x\) 的增大而增大。

图（c）的情况，表明 \(y\) 与 \(x\) 之间的关系并非线性关系，而是曲线关系。另一种可能性是 \(y\) 存在自相关。

图（d）的情况，称为蛛网现象，表明 \(y\) 存在自相关。

2.5.2 残差平方和与回归标准误差

根据之前介绍的内容，定义残差平方和为

\[\text{SSE} = \sum_{i=1}^n e_i^2 = \sum_{i=1}^n (y_i - \hat{y}_i)^2 \tag{2.5.1} \]

用残差平方和作为回归误差的估计，定义回归标准平方误差：

\[\hat{\sigma}^2 = \frac{\text{SSE}}{n-2} \tag{2.5.2} \]

注意上式的分母是为了保证使 \(\hat{\sigma}^2\) 是 \(\sigma^2\) 的无偏估计（分母为 \(n\) 时的点估计 \(\hat{\sigma}^2\) 是有偏估计）。此外，我们称 \(\hat{\sigma}\) 是回归标准误差，表示为

\[\hat{\sigma} = \sqrt{\frac{\text{SSE}}{n-2}} = \sqrt{\frac{\sum_{i=1}^n (y_i - \hat{y}_i)^2}{n-2}} \tag{2.5.3} \]

2.5.3 残差有关的性质

性质 2.5.1

\(E(e_i) = 0\)

证明：

\[\begin{align*} E(e_i) & = E(y_i) - E(\widehat{y}_i) \\ & = (\beta_0 + \beta_1 x_i) - (\beta_0 + \beta_1 x_i) = 0 \end{align*} \]

证毕。

性质 2.5.2

• \(\text{cov} (y_i, \hat{\beta}_1) = \frac{x_i - \overline{x}}{L_{xx}} \sigma^2\)

• \(\text{cov} (\overline{y}, \hat{\beta}_1) = 0\)

• \(\text{var}(e_i) = \left[ 1 - \frac{1}{n} - \frac{(x_i - \overline{x})^2}{L_{xx}}\right] \sigma^2 = (1-h_{ii})\sigma^2\)

• $\text{cov} (y_i, \hat{y}_i) = $

• \(E(\hat{\sigma}^2) = \sigma^2\)

证明：由 \(\hat{\beta}_1\) 的线性性质式 \((2.3.1)\)，可以证明第一点

\[\text{cov} (y_i, \hat{\beta}_1) = \text{cov} (y_i, \sum_{i=1}^n \frac{x_i -\overline{x}}{L_{xx}}y_i) = \sum_{i=1}^n \frac{x_i -\overline{x}}{L_{xx}} \sigma^2 \]

由此证明第二点

\[\text{cov} (\overline{y}, \hat{\beta}_1) = \text{cov} (\frac{\sum_{i=1}^n y_i}{n} , \sum_{i=1}^n \frac{x_i -\overline{x}}{L_{xx}}y_i) = \frac{1}{n L_{xx}} \sum_{i=1}^n (x_i - \overline{x}) \, \text{var} (y_i) = 0 \]

由于对残差有

\[e_i = y_i - \hat{y}_i = y_i - \overline{y} - \hat{\beta}_1 (x_i - \overline{x}) \]

由此可证明第三点

\[\begin{align*} \text{var} (e_i) & = \text{var} (y_i) + \text{var} (\overline{y}) + \text{var} (\hat{\beta}_1 (x_i - \overline{x})) - 2 \, \text{cov} (y_i, \overline{y}) - 2 \, \text{cov} (y_i, \hat{\beta}_1 (x_i - \overline{x})) + 2 \, \text{cov} (\overline{y}, \hat{\beta}_1 (x_i - \overline{x})) \\ & = \sigma^2 + \frac{1}{n} \sigma^2 + (x_i - \overline{x})^2 \frac{\sigma^2}{L_{xx}} - \frac{2}{n} \sigma^2 - 2 (x_i - \overline{x}) \frac{x_i - \overline{x}}{L_{xx}} \sigma^2 + 0 \\ & = \sigma^2 - \frac{1}{n} \sigma^2 - (x_i - \overline{x})^2 \frac{\sigma^2}{L_{xx}} \\ & = \left[ 1 - \frac{1}{n} - \frac{(x_i - \overline{x})^2}{L_{xx}}\right] \sigma^2 \end{align*} \]

利用 \(y_i\) 和 \(\hat{y}_i\) 的方差并结合第三点可以证明第四点。

由回归标准误差的定义式 \((2.5.2)\) 可证明第五点

\[E(\hat{\sigma}^2) = \frac{1}{n-2} \sum_{i=1}^n E(e_i^2) = \frac{1}{n-2} \sum_{i=1}^n \text{var} (e_i) = \frac{1}{n-2} \sum_{i=1}^n \left[ 1 - \frac{1}{n} - \frac{(x_i - \overline{x})^2}{L_{xx}}\right] \sigma^2 = \sigma^2 \]

证毕。

式中，\(h_{ii}\) 被称为杠杆值且 \(0<h_{ii}<1\)。表示为

\[h_{ii} = \frac{1}{n} + \frac{(x_i - \overline{x})^2}{L_{xx}} \]

当 \(x_i\) 靠近 \(\overline{x}\) 时，\(h_{ii}\) 的值接近 \(0\)，相应的残差方差越大；当 \(x_i\) 远离 \(\overline{x}\) 时，\(h_{ii}\) 的值接近 \(1\)，相应的残差方差越小。

也即是说，靠近 \(\overline{x}\) 的点相应的残差方差越大，远离 \(\overline{x}\) 的点相应的残差方差越小。

性质 2.5.3

残差满足约束条件 \(\sum_{i=1}^n e_i = 0\)，\(\sum_{i=1}^n x_i e_i = 0\)。这表明残差 \(e_1\)、\(e_2\)、\(\cdots\)、\(e_n\)是相关的，不是独立的。

2.5.4 改进的残差

残差分析中，一般认为超过 \(\pm 2 \hat{\sigma}\) 或 \(\pm 3 \hat{\sigma}\) 的残差为异常值，考虑到普通残差 \(e_1\)、\(e_2\)、\(\cdots\)、\(e_n\) 的方差不等，用 \(e_i\) 做判断和比较会带来一些麻烦，我们引入标准化残差和学生化残差的概念，分别定义如下：

标准化残差定义为

\[\text{ZRE}_i = \frac{e_i}{\hat{\sigma}} \tag{2.5.4} \]

更为重要的是学生化残差被定义为

\[\text{SRE}_i = \frac{e_i}{\hat{\sigma} \sqrt{1-h_{ii}}} \tag{2.5.5} \]

标准化残差使残差具有可比性，\(\left| \text{ZRE}_i \right| > 3\) 的相应观测值判定为异常值，这简化了判定工作。而学生化残差进一步解决了方差不等的问题，因此在寻找异常值时，用学生化残差优于用普通残差，\(\left| \text{SRE}_i \right| > 3\) 的相应观测值判定为异常值。

学生化残差的构造公式类似于 \(t\) 检验公式，因而把式 \((2.5.5)\) 称为学生化残差。