數學 - 回歸分析 - 第 4 章 違背基本假設的情況 - 4.2 一元加權最小二乘估計

4.2 一元加權最小二乘估計

4.2.1 一元加權最小二乘估計的形式

當我們研究的問題具有異方差性時，就違背了線性回歸模型的基本假定——高斯-馬爾科夫條件。此時，不能用普通最小二乘法進行參數估計，必須尋求另外的方法。

可以考慮對原來的模型進行變換，使得變換后的模型滿足同方差性假設，然后再進行模型參數的估計。消除異方差性的方法通常有加權最小二乘法、\(\text{BOX-COX}\) 變換法、方差穩定性變換法等。加權最小二乘法是一種最常用的消除異方差性的方法。

對一元線性回歸方程來說，普通最小二乘法的離差平方和為：

\[Q(\beta_0,\beta_1) = \sum_{i=1}^n (y_i - \beta_0 - \beta_1 x_i)^2 \tag{4.2.1} \]

其中，每個觀測值的權數相同。在等方差條件下，平方和中的每一項的地位都相同。然而，在異方差條件下，平方和中的每一項的地位是不同的，誤差項方差 \(\sigma_i^2\) 大的項，在式 \((4.2.1)\) 平方和中的占比就偏大，因而普通最小二乘估計的回歸線就被拉向方差大的項，而方差小的項的擬合程度就差。加權最小二乘法就是在平方和中加入一個適當的權數 \(w_i\)，以調整各項在平方和中的作用。一元線性回歸的加權最小二乘的離差平方和為：

\[Q_w(\beta_0, \beta_1) = \sum_{i=1}^n w_i (y_i - \beta_0 - \beta_1 x_i)^2 \tag{4.2.2} \]

其中，\(w_i\) 為給定的第 \(i\) 個觀測值的權數。

加權最小二乘估計就是尋找參數 \(\beta_0\)，\(\beta_1\) 的估計值 \(\beta_{0w}\)，\(\beta_{1w}\) 使得式 \((4.2.2)\) 的離差平方和 \(Q_w\) 達到極小。如果所有的權數相等，即 \(w_i\) 都為某個常數，則該方法成為了普通最小二乘估計。可以得到回歸參數的加權最小二乘估計為：

\[\left\{ \begin{aligned} \hat{\beta}_{0w} = & \overline{y}_w - \hat{\beta}_{1w} \overline{x}_w\\ \\ \hat{\beta}_{1w} = & \frac{\sum_{i=1}^n w_i (x_i - \overline{x}_w)(y_i - \overline{y}_w)}{\sum_{i=1}^n w_i (x_i - \overline{x}_w)^2} \end{aligned} \tag{4.2.3} \right. \]

式中，\(\overline{x}_w\) 與 \(\overline{y}_w\) 分別為自變量 \(x\) 的加權平均和因變量 \(y\) 的加權平均。即

\[\overline{x}_w = \frac{\sum w_i x_i}{\sum w_i}, \quad \overline{y}_w = \frac{\sum w_i y_i}{\sum w_i} \]

4.2.2 權值確定

在使用加權最小二乘估計時，為了消除異方差性的影響，使式 \((4.2.2)\) 中的各項地位相同，觀測值的權數應該是觀測值誤差項方差的倒數。設 \(\sigma_i^2\) 為第 \(i\) 個觀測值誤差項的方差，即有

\[w_i = \frac{1}{\sigma_i^2} \]

實際問題研究中，誤差項方差 \(\sigma_i^2\) 通常是未知的。但是，當誤差項方差隨自變量水平以系統的形式變化時，我們可以利用這種關系。例如，已知誤差項方差 \(\sigma_i^2\) 與 \(x_i^2\) 成比例，那么 \(\sigma_i^2 = k x_i^2\)，其中 \(k\) 為比例系數。權數 \(w_i\) 為：

\[w_i = \frac{1}{k x_i^2} \]

比例系數 \(k\) 在參數估計中可以消去，所以可以直接使用權數

\[w_i = \frac{1}{x_i^2} \]

在研究中常會遇到一類特殊的權數，即誤差項方差與自變量的冪函數 \(x^m\) 成比例，\(m\) 為待定的未知參數。此時權函數為

\[w_i = \frac{1}{x_i^m} \tag{4.2.4} \]

利用一些統計軟件可以方便地確定式 \((4.2.4)\) 中冪指數 \(m\) 的最優權值，甚至可以自己設置一些適合具體問題的權函數。