数学 - 回归分析 - 第 4 章 违背基本假设的情况 - 4.2 一元加权最小二乘估计

4.2 一元加权最小二乘估计

4.2.1 一元加权最小二乘估计的形式

当我们研究的问题具有异方差性时，就违背了线性回归模型的基本假定——高斯-马尔科夫条件。此时，不能用普通最小二乘法进行参数估计，必须寻求另外的方法。

可以考虑对原来的模型进行变换，使得变换后的模型满足同方差性假设，然后再进行模型参数的估计。消除异方差性的方法通常有加权最小二乘法、\(\text{BOX-COX}\) 变换法、方差稳定性变换法等。加权最小二乘法是一种最常用的消除异方差性的方法。

对一元线性回归方程来说，普通最小二乘法的离差平方和为：

\[Q(\beta_0,\beta_1) = \sum_{i=1}^n (y_i - \beta_0 - \beta_1 x_i)^2 \tag{4.2.1} \]

其中，每个观测值的权数相同。在等方差条件下，平方和中的每一项的地位都相同。然而，在异方差条件下，平方和中的每一项的地位是不同的，误差项方差 \(\sigma_i^2\) 大的项，在式 \((4.2.1)\) 平方和中的占比就偏大，因而普通最小二乘估计的回归线就被拉向方差大的项，而方差小的项的拟合程度就差。加权最小二乘法就是在平方和中加入一个适当的权数 \(w_i\)，以调整各项在平方和中的作用。一元线性回归的加权最小二乘的离差平方和为：

\[Q_w(\beta_0, \beta_1) = \sum_{i=1}^n w_i (y_i - \beta_0 - \beta_1 x_i)^2 \tag{4.2.2} \]

其中，\(w_i\) 为给定的第 \(i\) 个观测值的权数。

加权最小二乘估计就是寻找参数 \(\beta_0\)，\(\beta_1\) 的估计值 \(\beta_{0w}\)，\(\beta_{1w}\) 使得式 \((4.2.2)\) 的离差平方和 \(Q_w\) 达到极小。如果所有的权数相等，即 \(w_i\) 都为某个常数，则该方法成为了普通最小二乘估计。可以得到回归参数的加权最小二乘估计为：

\[\left\{ \begin{aligned} \hat{\beta}_{0w} = & \overline{y}_w - \hat{\beta}_{1w} \overline{x}_w\\ \\ \hat{\beta}_{1w} = & \frac{\sum_{i=1}^n w_i (x_i - \overline{x}_w)(y_i - \overline{y}_w)}{\sum_{i=1}^n w_i (x_i - \overline{x}_w)^2} \end{aligned} \tag{4.2.3} \right. \]

式中，\(\overline{x}_w\) 与 \(\overline{y}_w\) 分别为自变量 \(x\) 的加权平均和因变量 \(y\) 的加权平均。即

\[\overline{x}_w = \frac{\sum w_i x_i}{\sum w_i}, \quad \overline{y}_w = \frac{\sum w_i y_i}{\sum w_i} \]

4.2.2 权值确定

在使用加权最小二乘估计时，为了消除异方差性的影响，使式 \((4.2.2)\) 中的各项地位相同，观测值的权数应该是观测值误差项方差的倒数。设 \(\sigma_i^2\) 为第 \(i\) 个观测值误差项的方差，即有

\[w_i = \frac{1}{\sigma_i^2} \]

实际问题研究中，误差项方差 \(\sigma_i^2\) 通常是未知的。但是，当误差项方差随自变量水平以系统的形式变化时，我们可以利用这种关系。例如，已知误差项方差 \(\sigma_i^2\) 与 \(x_i^2\) 成比例，那么 \(\sigma_i^2 = k x_i^2\)，其中 \(k\) 为比例系数。权数 \(w_i\) 为：

\[w_i = \frac{1}{k x_i^2} \]

比例系数 \(k\) 在参数估计中可以消去，所以可以直接使用权数

\[w_i = \frac{1}{x_i^2} \]

在研究中常会遇到一类特殊的权数，即误差项方差与自变量的幂函数 \(x^m\) 成比例，\(m\) 为待定的未知参数。此时权函数为

\[w_i = \frac{1}{x_i^m} \tag{4.2.4} \]

利用一些统计软件可以方便地确定式 \((4.2.4)\) 中幂指数 \(m\) 的最优权值，甚至可以自己设置一些适合具体问题的权函数。