數學 - 回歸分析 - 第 3 章 多元線性回歸 - 3.3 參數估計量的性質

3.3 回歸參數估計量的性質

歸納回歸參數估計量的性質如下。

3.3.1 線性性

在多元線性回歸中，無論應用最小二乘估計還是最大似然估計，得到回歸參數向量 \(\hat{\bm{\beta}}\) 是隨機向量 \(\bm{y}\) 的一個線性變換，具體表示為

\[\hat{\bm{\beta}} = (X' X)^{-1} X' \bm{y} \tag{3.3.1} \]

3.3.2 無偏性

對式 \((3.3.1)\) 兩邊求期望得到：

\[E(\hat{\beta}) = E((X' X)^{-1} X' \bm{y}) = (X' X)^{-1} X' E(\bm{y}) = (X' X)^{-1} X' X \bm{\beta} = \bm{\beta} \tag{3.3.2} \]

因此，\(\hat{\bm{\beta}}\) 是 \(\bm{\beta}\) 的無偏估計。

3.3.3 回歸參數的方差

利用式 \((3.3.1)\) 求回歸參數向量 \(\hat{\bm{\beta}}\) 的方差

\[\begin{align*} \text{cov} (\hat{\bm{\beta}}, \hat{\bm{\beta}}) & = \text{cov} ((X' X)^{-1} X' \bm{y}, (X' X)^{-1} X' \bm{y}) \\ & = (X' X)^{-1} X' \text{cov} (\bm{y}, \bm{y}) ((X' X)^{-1} X')' \\ & = \sigma^2 (X' X)^{-1} X' I_n X (X' X)^{-1} \\ & = \sigma^2 (X' X)^{-1} \end{align*} \tag{3.3.3} \]

\(\text{cov} (\hat{\bm{\beta}}, \hat{\bm{\beta}})\) 被稱為 \(\hat{\bm{\beta}}\) 的協方差陣，它是回歸系數 \(\hat{\beta}_1\) 方差的推廣，反映了估計量 \(\hat{\bm{\beta}}\) 的波動大小，由於 \((X' X)^{-1}\) 一般為非對角矩陣，所以 \(\hat{\bm{\beta}}\) 的各分量之間存在一定聯系，根據計算得到的協方差陣可以分析 \((X' X)^{-1}\) 各分量的波動以及各分量之間的相關程度。

此外，由式 \((3.3.3)\) 還可看出回歸參數向量 \(\hat{\bm{\beta}}\) 的穩定情況不僅與隨機誤差項的方差 \(\sigma^2\) 有關，還有設計矩陣有關。與一元線性回歸情況一樣，要想使估計量的方差小，采集的樣本數據就不能太集中。

分析 \(\hat{\bm{\beta}}\) 各分量之間的相關程度，更方便的工具是 \(\hat{\bm{\beta}}\) 的相關陣，由相關陣的定義和式 \((3.3.3)\) 計算出的協方差陣容易得到其相關陣。

3.3.4 高斯 - 馬爾科夫定理

在實際應用中，我們關心的一個問題是預測。

\[\hat{y}_0 = \hat{\beta}_0 + \hat{\beta}_1 x_{01} + \hat{\beta}_2 x_{02} + \cdots + \hat{\beta}_p x_{0p} \tag{3.3.4} \]

上式即為預測函數，顯然是 \(\hat{\bm{\beta}}\) 的線性函數。設 \(\bm{c}\) 為任一 \(p+1\) 維常數向量，我們希望回歸參數向量 \(\bm{\beta}\) 的估計值 \(\hat{\bm{\beta}}\) 具有如下性質：

• \(\bm{c}' \hat{\bm{\beta}}\) 是 \(\bm{c}' \bm{\beta}\) 的無偏估計。（線性無偏估計）

• \(\bm{c}' \hat{\bm{\beta}}\) 的方差要小。（最小方差）

下面定理告訴我們最小二乘估計 \(\hat{\bm{\beta}}\) 正好滿足上述兩個條件。

定理 3.3.1 高斯 - 馬爾科夫定理

在假定 \(E(y)=X \bm{\beta}\)，\(D(\bm{y})=\sigma^2 I_n\) 時，\(\bm{\beta}\) 的任一線性函數 \(\bm{c}'\bm{\beta}\) 的最小方差線性無偏估計為 \(\bm{c}'\hat{\bm{\beta}}\)。其中，\(\bm{c}\) 是任一 \(p+1\) 維常數向量，\(\hat{\bm{\beta}}\) 是 \(\bm{\beta}\) 的最小二乘估計。

上述定理說明了普通最小二乘估計得到的 \(\hat{\bm{\beta}}\) 是理想的估計量。我們需注意以下幾點。

• 取常數向量 \(\bm{c}\) 的第 \(j\) 個分量為 \(1\)，其余分量為 \(0\)，此時定理表明最小二乘估計 \(\hat{\beta}_j\) 是 \(\beta_j\) 的最小方差線性無偏估計。

• 可能存在 \(y_1\)，\(y_2\)，\(\cdots\)，\(y_n\) 的非線性函數，作為 \(\bm{c}' \bm{\beta}\) 的無偏估計，比最小二乘估計 \(\bm{c}' \hat{\bm{\beta}}\) 的方差更小。（線性無偏估計一定是樣本的線性函數嗎？？）

• 可能存在 \(\bm{c}' \bm{\beta}\) 的有偏估計，在某種意義上（例如均方誤差最小）比最小二乘估計 \(\bm{c}' \hat{\bm{\beta}}\) 更好。

• 在正態假定下，\(\bm{c}' \hat{\bm{\beta}}\) 是 \(\bm{c}' \bm{\beta}\) 的最小方差無偏估計。也就是說，既不可能存在 \(y_1\)，\(y_2\)，\(\cdots\)，\(y_n\) 的非線性函數，也不可能存在\(y_1\)，\(y_2\)，\(\cdots\)，\(y_n\) 的其他線性函數，作為 \(\bm{c}' \bm{\beta}\) 的無偏估計，比最小二乘估計 \(\bm{c}' \hat{\bm{\beta}}\) 的方差更小。

3.3.5 回歸參數與殘差

定理 3.3.2

\(\text{cov} (\hat{\bm{\beta}}, \bm{e}) = \bm{0}\)

上述定理說明 \(\hat{\bm{\beta}}\) 與 \(\bm{e}\) 不相關，在正態假定下，\(\hat{\bm{\beta}}\) 與 \(\bm{e}\) 不相關 等價於 \(\hat{\bm{\beta}}\) 與 \(\bm{e}\) 獨立。從而 \(\hat{\bm{\beta}}\) 與 \(\text{SSE} = \bm{e}' \bm{e}\) 獨立。

3.3.6 正態性

在正態假設 \(\bm{y} \sim N(X \bm{\beta}, \sigma^2 I_n)\) 成立時，回歸參數向量 \(\hat{\bm{\beta}}\) 作為隨機向量 \(\bm{y}\) 的一個線性變換，由計算得到的回歸參數期望和方差可以得到其分布

\[\hat{\bm{\beta}} \sim N(\bm{\beta}, \sigma^2 (X' X)^{-1}) \tag{3.3.5} \]