数学 - 回归分析 - 第 3 章 多元线性回归 - 3.3 参数估计量的性质

3.3 回归参数估计量的性质

归纳回归参数估计量的性质如下。

3.3.1 线性性

在多元线性回归中，无论应用最小二乘估计还是最大似然估计，得到回归参数向量 \(\hat{\bm{\beta}}\) 是随机向量 \(\bm{y}\) 的一个线性变换，具体表示为

\[\hat{\bm{\beta}} = (X' X)^{-1} X' \bm{y} \tag{3.3.1} \]

3.3.2 无偏性

对式 \((3.3.1)\) 两边求期望得到：

\[E(\hat{\beta}) = E((X' X)^{-1} X' \bm{y}) = (X' X)^{-1} X' E(\bm{y}) = (X' X)^{-1} X' X \bm{\beta} = \bm{\beta} \tag{3.3.2} \]

因此，\(\hat{\bm{\beta}}\) 是 \(\bm{\beta}\) 的无偏估计。

3.3.3 回归参数的方差

利用式 \((3.3.1)\) 求回归参数向量 \(\hat{\bm{\beta}}\) 的方差

\[\begin{align*} \text{cov} (\hat{\bm{\beta}}, \hat{\bm{\beta}}) & = \text{cov} ((X' X)^{-1} X' \bm{y}, (X' X)^{-1} X' \bm{y}) \\ & = (X' X)^{-1} X' \text{cov} (\bm{y}, \bm{y}) ((X' X)^{-1} X')' \\ & = \sigma^2 (X' X)^{-1} X' I_n X (X' X)^{-1} \\ & = \sigma^2 (X' X)^{-1} \end{align*} \tag{3.3.3} \]

\(\text{cov} (\hat{\bm{\beta}}, \hat{\bm{\beta}})\) 被称为 \(\hat{\bm{\beta}}\) 的协方差阵，它是回归系数 \(\hat{\beta}_1\) 方差的推广，反映了估计量 \(\hat{\bm{\beta}}\) 的波动大小，由于 \((X' X)^{-1}\) 一般为非对角矩阵，所以 \(\hat{\bm{\beta}}\) 的各分量之间存在一定联系，根据计算得到的协方差阵可以分析 \((X' X)^{-1}\) 各分量的波动以及各分量之间的相关程度。

此外，由式 \((3.3.3)\) 还可看出回归参数向量 \(\hat{\bm{\beta}}\) 的稳定情况不仅与随机误差项的方差 \(\sigma^2\) 有关，还有设计矩阵有关。与一元线性回归情况一样，要想使估计量的方差小，采集的样本数据就不能太集中。

分析 \(\hat{\bm{\beta}}\) 各分量之间的相关程度，更方便的工具是 \(\hat{\bm{\beta}}\) 的相关阵，由相关阵的定义和式 \((3.3.3)\) 计算出的协方差阵容易得到其相关阵。

3.3.4 高斯 - 马尔科夫定理

在实际应用中，我们关心的一个问题是预测。

\[\hat{y}_0 = \hat{\beta}_0 + \hat{\beta}_1 x_{01} + \hat{\beta}_2 x_{02} + \cdots + \hat{\beta}_p x_{0p} \tag{3.3.4} \]

上式即为预测函数，显然是 \(\hat{\bm{\beta}}\) 的线性函数。设 \(\bm{c}\) 为任一 \(p+1\) 维常数向量，我们希望回归参数向量 \(\bm{\beta}\) 的估计值 \(\hat{\bm{\beta}}\) 具有如下性质：

• \(\bm{c}' \hat{\bm{\beta}}\) 是 \(\bm{c}' \bm{\beta}\) 的无偏估计。（线性无偏估计）

• \(\bm{c}' \hat{\bm{\beta}}\) 的方差要小。（最小方差）

下面定理告诉我们最小二乘估计 \(\hat{\bm{\beta}}\) 正好满足上述两个条件。

定理 3.3.1 高斯 - 马尔科夫定理

在假定 \(E(y)=X \bm{\beta}\)，\(D(\bm{y})=\sigma^2 I_n\) 时，\(\bm{\beta}\) 的任一线性函数 \(\bm{c}'\bm{\beta}\) 的最小方差线性无偏估计为 \(\bm{c}'\hat{\bm{\beta}}\)。其中，\(\bm{c}\) 是任一 \(p+1\) 维常数向量，\(\hat{\bm{\beta}}\) 是 \(\bm{\beta}\) 的最小二乘估计。

上述定理说明了普通最小二乘估计得到的 \(\hat{\bm{\beta}}\) 是理想的估计量。我们需注意以下几点。

• 取常数向量 \(\bm{c}\) 的第 \(j\) 个分量为 \(1\)，其余分量为 \(0\)，此时定理表明最小二乘估计 \(\hat{\beta}_j\) 是 \(\beta_j\) 的最小方差线性无偏估计。

• 可能存在 \(y_1\)，\(y_2\)，\(\cdots\)，\(y_n\) 的非线性函数，作为 \(\bm{c}' \bm{\beta}\) 的无偏估计，比最小二乘估计 \(\bm{c}' \hat{\bm{\beta}}\) 的方差更小。（线性无偏估计一定是样本的线性函数吗？？）

• 可能存在 \(\bm{c}' \bm{\beta}\) 的有偏估计，在某种意义上（例如均方误差最小）比最小二乘估计 \(\bm{c}' \hat{\bm{\beta}}\) 更好。

• 在正态假定下，\(\bm{c}' \hat{\bm{\beta}}\) 是 \(\bm{c}' \bm{\beta}\) 的最小方差无偏估计。也就是说，既不可能存在 \(y_1\)，\(y_2\)，\(\cdots\)，\(y_n\) 的非线性函数，也不可能存在\(y_1\)，\(y_2\)，\(\cdots\)，\(y_n\) 的其他线性函数，作为 \(\bm{c}' \bm{\beta}\) 的无偏估计，比最小二乘估计 \(\bm{c}' \hat{\bm{\beta}}\) 的方差更小。

3.3.5 回归参数与残差

定理 3.3.2

\(\text{cov} (\hat{\bm{\beta}}, \bm{e}) = \bm{0}\)

上述定理说明 \(\hat{\bm{\beta}}\) 与 \(\bm{e}\) 不相关，在正态假定下，\(\hat{\bm{\beta}}\) 与 \(\bm{e}\) 不相关 等价于 \(\hat{\bm{\beta}}\) 与 \(\bm{e}\) 独立。从而 \(\hat{\bm{\beta}}\) 与 \(\text{SSE} = \bm{e}' \bm{e}\) 独立。

3.3.6 正态性

在正态假设 \(\bm{y} \sim N(X \bm{\beta}, \sigma^2 I_n)\) 成立时，回归参数向量 \(\hat{\bm{\beta}}\) 作为随机向量 \(\bm{y}\) 的一个线性变换，由计算得到的回归参数期望和方差可以得到其分布

\[\hat{\bm{\beta}} \sim N(\bm{\beta}, \sigma^2 (X' X)^{-1}) \tag{3.3.5} \]