計量經濟學導論02：多元回歸模型

多元回歸模型

經典線性回歸模型的假定

在這一節中，我們將把回歸模型由一元擴展到多元。多元回歸分析允許在模型中加入多個可觀測的因素，通過控制其他條件不變，分析不同的自變量對因變量的解釋能力。首先，我們給出經典線性回歸模型的基本假定的嚴格定義，分析在不同的假定條件下，OLS 估計量具有什么樣的統計性質。

MLR.1 線性於參數

總體模型設定：

\[y=\beta_0+\beta_1x_1+\beta_2x_2+\cdots+\beta_kx_k+u \ , \]

其中 \(\beta_0,\beta_1,\cdots,\beta_k\) 是未知的待估參數，而 \(u\) 是無法觀測的隨機誤差項。

上述方程是總體模型的規范化表述，此模型的一個重要特點是，它是參數 \(\beta_0,\beta_1,\cdots,\beta_k\) 的線性函數。該假定也是多元回歸分析的模型設定。

MLR.2 隨機抽樣

有一個包含 \(n\) 次觀測的隨機樣本 \(\{(x_{i1},x_{i2},\cdots,x_{ik},y_i):i=1,2,\cdots,n\}\) 來自總體模型。

我們可以對一次特定觀測 \(i\) 寫出其方程：

\[y_i=\beta_0+\beta_1x_{i1}+\beta_2x_{i2}+\cdots+\beta_kx_{ik}+u_i \ , \]

這里的 \(i\) 表示觀測次數，\(x\) 的第二個下標表示變量的序號。

MLR.3 不存在完全共線性

在樣本（總體）中，沒有一個解釋變量是常數，自變量之間也不存在嚴格的線性關系。

該假定允許解釋變量之間存在相關關系，但不能是完全相關。如果存在完全共線性，則 OLS 方法將無法估計，這一點我們在多重共線性一章進行介紹。

MLR.4 零條件均值

給定解釋變量的任何值，誤差的期望值為零，即

\[{\rm E}(u\ |\ x_1,x_2,\cdots,x_k)=0 \ . \]

該假設不成立的情況：

• 被解釋變量和解釋變量之間的函數關系被錯誤設定
• 遺漏一個與 \(x_1,x_2,\cdots,x_k\) 中任何一個解釋變量相關的解釋變量
• \(u\) 與一個解釋變量相關（內生解釋變量）

MLR.5 同方差性

給定解釋變量的任何值，誤差都具有相同的方差，即

\[{\rm Var}(u\ | \ x_1,x_2,\cdots,x_k)=\sigma^2 \ . \]

該假設意味着以解釋變量為條件，不管解釋變量出現怎樣的組合，誤差項 \(u\) 的方差都是一樣的。違背該假定，模型將表現出異方差性，這一問題在截面數據中十分常見。

MLR.6 正態性

總體誤差 \(u\) 獨立於解釋變量 \(x_1,x_2,\cdots,x_k\)，而且服從均值為 \(0\) 和方差為 \(\sigma^2\) 的正態分布：

\[u\sim N(0,\ \sigma^2) \ . \]

該假定是比前面任何一個假定都更強的假定。當我們以樣本自變量的值為條件時，易知 OLS 估計量的抽樣分布取決於其背后的誤差 \(u\) 的分布。

定理總結

我們將假定 MLR.1 至 MLR.5 稱為高斯-馬爾科夫假定，將假定 MLR.1 至 MLR.6 稱為經典線性回歸模型的基本假定。在基本假定成立的前提條件下，OLS 估計量具有很多優良的統計性質：

• 在假定 MLR.1 至 MLR.4 下，OLS 估計量是具有無偏性。
• 在假定 MLR.1 至 MLR.5 下，OLS 估計量是具有有效性。
• 高斯-馬爾科夫定理：在高斯-馬爾科夫假定下，OLS 估計量是最優線性無偏估計量（BLUE）。

為了對上述定理進行推導，我們首先要引入一種分析多元回歸模型偏效應的方法，即排除其他變量影響的方法。

排除其他變量影響的方法

我們以 \(\beta_1\) 為例，介紹偏回歸系數的估計方法，進而我們可以控制其他變量的影響因素，分析 \(x_1\) 對 \(y\) 的偏效應。

step.1

將 \(x_1\) 對 \(x_2,x_3,...,x_k\) 進行回歸，殘差記為 \(\hat{r}_{i1}\) 。寫成總體模型的形式如下：

\[x_1=\gamma_1+\gamma_2x_2+...+\gamma_kx_k+r_1 \ . \]

上述模型具有如下的統計性質：

\[{\rm E}(r_1)=0\ ,\ \ \ \ {\rm Cov}(x_j,\,r_1)=0\ ,\ \ \ \ j=2,3,\cdots,k \ , \]

該統計性質來源於多元回歸模型的零條件均值假設，由該性質可以推出下面的性質：

\[{\rm Cov}(x_1,\ r_1)={\rm Var}(r_1^2) \ . \]

在一組觀測樣本中，我們可以用樣本數據的形式表現上述性質：

\[\sum_{i=1}^n \hat{r}_{i1}=0 \ , \]

\[\sum_{i=1}^n x_{ij}\hat{r}_{i1}=0\ ,\ \ \ \ j=2,3,\cdots,k \ , \]

\[\sum_{i=1}^n x_{i1}\hat{r}_{i1}=\sum_{i=1}^n\hat{r}_{i1}^2 \ . \]

step.2

將 \(y\) 對 \(\hat{r}_1\) 做簡單回歸，模型可以寫為：

\[y=\beta_0+\beta_1\hat{r}_1+\varepsilon \ . \]

根據簡單回歸模型的 OLS 計算公式，有

\[\hat\beta_1=\frac{\displaystyle\sum_{i=1}^n(\hat{r}_{i1}-\bar{\hat{r}}_1)(y_i-\bar{y})}{\displaystyle\sum_{i=1}^n(\hat{r}_{i1}-\bar{\hat{r}}_1)^2}=\frac{\displaystyle\sum_{i=1}^n\hat{r}_{i1}y_i}{\displaystyle\sum_{i=1}^n\hat{r}_{i1}^2} \ . \]

這樣我們就求出來了 \(x_1\) 對 \(y\) 的偏效應，可以證明這里的 \(\hat\beta_1\) 和原模型 OLS 的估計結果完全相等，在這里就不進行推導。偏回歸系數的估計為 OLS 估計量的性質的證明提供了新的思路。

無偏性的證明

接下來我們利用排除其他變量影響的方法證明 OLS 估計下 \(\hat\beta_1\) 具有無偏性。

將多元線性模型的樣本形式代入 \(\beta_1\) 的估計式中：

\[\hat\beta_1=\frac{\displaystyle\sum_{i=1}^n\hat{r}_{i1}y_i}{\displaystyle\sum_{i=1}^n\hat{r}_{i1}^2}=\frac{\displaystyle\sum_{i=1}^n\hat{r}_{i1}(\beta_0+\beta_1x_{i1}+\beta_2x_{i2}+...+\beta_kx_{ik}+u_i)}{\displaystyle\sum_{i=1}^n\hat{r}_{i1}^2} \ , \]

根據 step.1 中的樣本性質得出以下推論：

• 對於常數項 \(\beta_0\) 和 \(\hat{r}_{i1}\) 的乘積和，

\[\displaystyle\sum_{i=1}^n\beta_0\hat{r}_{i1}=\beta_0\cdot\displaystyle\sum_{i=1}^n\hat{r}_{i1}=0 \ . \]

• 對於偏效應 \(\beta_1\) 和 \(\hat{r}_{i1}\) 的乘積和，

\[\displaystyle\sum_{i=1}^n\beta_1x_{i1}\hat{r}_{i1}=\beta_1\cdot \sum_{i=1}^nx_{i1}\hat{r}_{i1}=\beta_1\cdot\sum_{i=1}^n\hat{r}_{i1}^2 \ . \]

• 對於被控制的其他偏效應和 \(\hat{r}_{i1}\) 的乘積和，

\[\displaystyle\sum_{i=1}^n\beta_jx_{ij}\hat{r}_{i1}=\beta_j\cdot\displaystyle\sum_{i=1}^nx_{ij}\hat{r}_{i1}=0\ ,\ \ \ \ j=2,3,...,k \ . \]

將上述三條推論代入 \(\beta_1\) 的估計式中可以得到：

\[\hat\beta_1=\frac{\beta_1\cdot\displaystyle\sum_{i=1}^n\hat{r}_{i1}^2+\displaystyle\sum_{i=1}^n\hat{r}_{i1}u_i}{\displaystyle\sum_{i=1}^n\hat{r}_{i1}^2}=\beta_1+\frac{\displaystyle\sum_{i=1}^n\hat{r}_{i1}u_i}{\displaystyle\sum_{i=1}^n\hat{r}_{i1}^2} \ . \]

這里唯一的隨機變量就是總體回模型的隨機誤差項 \(u\) ，因此我們兩邊取數學期望得

\[{\rm E}(\hat\beta_1)=\beta_1+\frac{\displaystyle\sum_{i=1}^n\hat{r}_{i1}\cdot {\rm E}(u_i)}{\displaystyle\sum_{i=1}^n\hat{r}_{i1}^2}=\beta_1 \ . \]

由此便證明了 \(\hat\beta_1\) 是無偏估計量。

估計量方差的計算

對所有的 \(j=1,2,...,k\)，都有

\[{\rm Var}(\hat\beta_j)=\frac{\sigma^2}{{\rm SST}_j(1-R^2_j)} \ , \]

其中， \({\rm SST}_j=\displaystyle\sum_{i=1}^n(x_{ij}-\bar{x}_j)^2\) ，是 \(x_j\) 的總樣本波動； \(R_j^2\) 是 \(x_j\) 對其他解釋變量做回歸所得到的可決系數。

對於上述公式，我們還是利用排除其他變量影響的方法對 \(j=1\) 的情況進行證明：

\[{\rm Var}(\hat\beta_1)={\rm Var}\left(\frac{\displaystyle\sum_{i=1}^n\hat{r}_{i1}u_i}{\displaystyle\sum_{i=1}^n\hat{r}_{i1}^2}\right)=\frac{\displaystyle\sum_{i=1}^n\hat{r}_{i1}^2\cdot {\rm Var}(u_i)}{\left(\displaystyle\sum_{i=1}^n\hat{r}_{i1}^2\right)^2}=\frac{\sigma^2}{\displaystyle\sum_{i=1}^n\hat{r}_{i1}^2} \ , \]

因為 \(\displaystyle\sum_{i=1}^n\hat{r}_{i1}^2\) 是 \(x_1\) 對 \(x_2,x_3,...,x_k\) 做回歸的殘差平方和 \({\rm SSR}_1\) ，根據可決系數的定義，我們有

\[\displaystyle\sum_{i=1}^n\hat{r}_{i1}^2={\rm SST}_j(1-R^2_j) \ , \]

代入即可證得

\[{\rm Var}(\hat\beta_1)=\frac{\sigma^2}{{\rm SST}_1(1-R^2_1)} \ . \]

估計量方差的成份

在實證研究中 \({\rm Var}(\hat\beta_j)\) 的大小非常重要。方差越大，意味着估計量越不精確，即置信區間和假設檢驗越不准確。因此，討論估計量方差的構成要素很有必要。這里我們將根據上述估計量方差的計算公式，分析估計量方差的成份及其影響因素。

(1) 誤差方差 \(\sigma^2\)

• 這一點很好理解，\(\sigma^2\) 越大，方程中的“噪音”越多，OLS 估計量的方差越大，因此估計任何一個解釋變量對 \(y\) 的偏效應就越困難。
• 需要注意的是 \(\sigma^2\) 是總體的一個特征，與樣本容量無關。對於一個給定的因變量 \(y\) ，減小誤差方差的唯一方法就是增加更多的解釋變量，將某些可觀測的因素從誤差中分離出來。但在實際中這樣做不僅很難實現，而且還不一定能夠得出令人滿意的結果。

(2) \(x_j\) 的總樣本波動 \({\rm SST}_j\)

• \(x_j\) 的總波動越大，\({\rm Var}(\hat\beta_j)\) 越小，因此在其他條件不變的情況下，我們希望 \(x_j\) 的樣本方差越大越好。
• 當我們從總體中隨機抽樣時，我們可以通過擴大樣本容量的方式，提高自變量的樣本波動，即增大 \({\rm SST}_j\) 。

(3) 自變量之間的線性關系 \(R_j^2\)

• 隨着 \(R_j^2\) 向 1 逐漸增加，\({\rm Var}(\hat\beta_j)\) 越來越大。
• 當模型中出現多重共線性問題時， \(R_j^2\) 接近於 \(1\) 但並不違背假設 MLR.3 。
• 在所有其他條件不變的情況下，就估計 \(\beta_j\) 而言，\(x_j\) 與其他自變量之間越不相關越好。

估計量的抽樣分布

利用假定 MLR.1 至 MLR.5 ，我們可以證明多元回歸模型 OLS 估計量的無偏性並計算了 OLS 估計量的方差，再寫一次結論：

\[{\rm E}(\hat\beta_j)=\beta_j \ , \ \ \ \ {\rm Var}(\hat\beta_j)=\frac{\sigma^2}{{\rm SST}_j(1-R^2_j)} \ , \]

和簡單回歸模型的情況類似，在滿足正態性假設 MLR.6 的前提下，我們可以得到 OLS 估計量 \(\hat\beta_j\) 的統計分布：

\[\hat\beta_j \sim N\left(\beta_j,\,\frac{\sigma^2}{{\rm SST}_j(1-R_j^2)}\right) \ . \]

並且只有在滿足正態性假設 MLR.6 的前提下，才可以進行假設檢驗和區間估計。但我們也會面臨同樣的問題，即當我們不知道隨機誤差項的標准差 \(\sigma\) 時，我們也無法得到 \(\hat\beta_j\) 的標准差。因此我們需要用 \(\hat\sigma\) 代替 \(\sigma\) 從而計算 \(\hat\beta_j\) 標准誤，用來代替 \(\hat\beta_j\) 的標准差：

\[\sigma \to \hat\sigma \ , \ \ \ \ {\rm sd}(\hat\beta_j)\to{\rm se}(\hat\beta_j) \ . \]

在一般的多元回歸模型中，\(\sigma^2\) 的無偏估計量是

\[\hat\sigma^2=\frac{\sum_\limits{i=1}^ne_i^2}{n-k-1}=\frac{\rm SSR}{n-k-1} \ . \]

這里的 \(n-k-1\) 實際上是 \({\rm SSR}\) 的自由度 \(df\) ，嚴格上需要證明定理： \({\rm E}({\rm SSR})=(n-k-1)\sigma^2\) 。這個定理需要用到矩陣代數的知識，我們在矩陣形式的部分進行推導。

由此我們便可得到 \(\hat\beta_j\) 的標准誤為

\[{\rm se}(\hat\beta_j)={\frac{\hat\sigma}{\sqrt{{\rm SST}_j(1-R_j^2)}}}\ , \]

一般地，在實證研究的回歸結果中，匯報標准誤比 \(t\) 統計量要更為常見。

變量的顯著性檢驗

變量的顯著性檢驗和一元模型相同，差別在於 \(t\) 統計量的自由度不再是 \(n-2\) ，而是 \(n-k-1\) ，與解釋變量個數相關。

提出假設：

\[H_0:\beta_j=0 \ \longleftrightarrow \ H_1:\beta_j \neq 0 \ , \]

構造 \(t\) 統計量：

\[T=\frac{\hat{\beta}_j -\beta_j}{{\rm se}(\hat{\beta}_j)}\sim t(n-k-1) \ , \]

給定顯著性水平 \(\alpha\)，如果

\[|T|>t_{\alpha/2}(n-k-1) \ , \]

則稱 \(t\) 統計量在 \(\alpha\) 的顯著性水平下顯著，拒絕原假設。

同樣可以計算出 \(\beta_j\) 的置信區間為：

\[\hat{\beta}_j -t_{\alpha/2} \cdot {\rm se}(\hat{\beta}_j) \leq \beta_j \leq \hat{\beta}_j+t_{\alpha/2} \cdot {\rm se}(\hat{\beta}_j) \ . \]

受約束回歸檢驗

聯合假設檢驗

通過構造 \(t\) 統計量，我們可以判斷單一解釋變量對因變量是否具有顯著性的影響，也可稱之為單個約束的檢驗。但是在多元回歸模型中，我們想要檢驗的往往是一組變量的系數是否顯著為 \(0\)，或者還有更復雜的約束條件，例如比較幾個變量的系數是否相等，兩個變量的系數相加是否為 \(1\) 等等。我們稱之為多重約束，對多重約束進行的檢驗被稱為聯合假設檢驗。

首先定義一下英文縮寫 \(r\) 和 \(ur\) 的含義：受約束模型為 restricted model ，無約束模型為 unrestricted model。因此我們用下標 \(r\) 和 \(ur\) 對統計量加以區分。例如 \({\rm SSR}_r\) 為受約束回歸的殘差平方和，\({\rm SSR}_{ur}\) 為無約束回歸的殘差平方和，其他統計量同理。

一般地，受約束回歸模型的解釋力下降，因此 \({\rm SSR}_{r}>{\rm SSR}_{ur}\) ，但自由度會下降。

提出原假設 \(H_0\) ：約束條件為真。

構造 \(F\) 統計量：

\[F=\frac{({\rm SSR}_r-{\rm SSR}_{ur})/(k_{ur}-k_r)}{{\rm SSR}_{ur}/(n-k_{ur}-1)}\sim F(k_{ur}-k_r,\,n-k_{ur}-1) \ , \]

這里的 \(k_{ur}\) 和 \(k_r\) 分別是兩個回歸模型中不含常數項的解釋變量個數。

聯想到可決系數 \(R^2\) 的定義，我們也可以通過受約束回歸和無約束回歸的可決系數來計算 \(F\) 統計量：

\[F=\frac{(R^2_{ur}-R^2_r)/(k_{ur}-k_r)}{(1-R^2_{ur})/(n-k_{ur}-1)}\sim F(k_{ur}-k_r,\,n-k_{ur}-1) \ . \]

我們看兩個受約束回歸檢驗的典型應用場景。

方程的顯著性檢驗

對於多元回歸模型

\[y=\beta_0+\beta_1x_1+\beta_2x_2+\cdots+\beta_kx_k+u \ , \]

我們想要檢驗這個回歸方程是否有存在的意義，如果 \(\beta_1=\beta_2=\cdots=\beta_k=0\) ，那我們的回歸顯然是毫無作用，相當於什么都沒有做過。對此我們可以利用受約束回歸檢驗的方法來檢驗方程的顯著性。

我們將原回歸模型視為無約束模型，其中解釋變量的個數為 \(k_{ur}=k\) ，殘差平方和就是 \({\rm SSR}\) 。

提出原假設（即約束條件）：

\[H_0:\beta_1=\beta_2=\cdots=\beta_k=0 \ , \]

此時的受約束模型為：

\[y=\beta_0+u \ , \]

易知此時 \(\beta_0={\rm E}(y)\) ，因此有 \(\hat\beta_0=\bar{y}\) ，所以受約束模型的殘差平方和 \({\rm SSR}_{r}\) 就是總平方和 \({\rm SST}\) 。

構造 \(F\) 統計量為

\[F=\frac{{\rm SSE}/k}{{\rm SSR}/(n-k-1)}\sim F(k,\,n-k-1) \ . \]

注意 \(F\) 檢驗是單邊檢驗： \(F>F_{\alpha}(k,\,n-k-1)\) 。

寫成 \(R^2\) 的形式為：

\[F=\frac{R^2/k}{(1-R^2)/(n-k-1)}\sim F(k,\,n-k-1)\ . \]

變量的排除性約束檢驗

變量的排除性約束檢驗，主要考慮的是某個或某些解釋變量是否需要被排除在模型之外。即檢驗系數是否聯合顯著為 \(0\) 。利用受約束回歸檢驗，我們可以同時檢驗多個變量是否同時不顯著。假設我們要檢驗 \(q\) 個解釋變量 \(x_{k+1},\cdots,x_{k+q}\) 是否需要被加入模型中，檢驗過程如下：

受約束模型：

\[y=\beta_0+\beta_1x_1+\beta_2x_2+\cdots+\beta_kx_k+u \ , \]

無約束模型：

\[y=\beta_0+\beta_1x_1+\beta_2x_2+\cdots+\beta_kx_k+\beta_{k+1}x_{k+1}+\cdots+\beta_{k+q}x_{k+q}+u \ , \]

假設檢驗：

\[H_0:\beta_{k+1}=\beta_{k+2}=\cdots=\beta_{k+q}=0 \ . \]

構造 \(F\) 統計量：

\[F=\frac{({\rm SSR}_r-{\rm SSR}_{ur})/q}{{\rm SSR}_{ur}/(n-k-q-1)}\sim F(q,\,n-k-q-1) \ . \]

寫成 \(R^2\) 的形式：

\[F=\frac{(R^2_{ur}-R^2_r)/q}{(1-R^2_{ur})/(n-k-q-1)} \ . \]

調整的可決系數

回顧一下可決系數的定義：

\[R^2=\frac{\rm SSE}{\rm SST}=\frac{\rm SST-SSR}{\rm SST}=1-\frac{\rm SSR}{\rm SST} \ . \]

我們定義可決系數 \(R^2\) 是為了衡量了因變量 \(y\) 的樣本波動中能被自變量解釋的部分的多少，但是在應用過程中我們會發現，如果在模型中增加一個解釋變量， \(R^2\) 往往會增大。這就給人一個錯覺：要使得模型擬合得好，只要增加解釋變量即可。這樣基於 \(R^2\) 的大小選擇一組擬合程度更高的解釋變量可能會導致一些不合理的模型的出現。因此，我們需要對增加的自變量施加懲罰，於是引入了調整的可決系數。定義如下：

\[\overline{R}^2=1-\frac{SSR/(n-k-1)}{SST/(n-1)} \ , \]

可以計算得到 \(R^2\) 和 \(\overline{R}^2\) 的關系為：

\[\overline{R}^2=1-(1-R^2)\frac{n-1}{n-k-1} \ , \]

需要注意，可決系數 \(R^2\) 必定非負，但調整的可決系數 \(\overline{R}^2\) 可能為負值。