回歸分析03：回歸參數的估計(1)

目錄

• Chapter 3：回歸參數的估計(1)
  • 3.1 最小二乘估計
  • 3.2 最小二乘估計的性質

Chapter 3：回歸參數的估計(1)

3.1 最小二乘估計

用 \(y\) 表示因變量，\(x_1,x_2,\cdots,x_p\) 表示對 \(y\) 有影響的 \(p\) 個自變量。

• 總體回歸模型：假設 \(y\) 和 \(x_1,x_2,\cdots,x_p\) 之間滿足如下線性關系式

  \[y=\beta_0+\beta_1 x_1+\beta_2x_2+\cdots+\beta_px_p+e \ , \]

  其中 \(e\) 是隨機誤差，將 \(\beta_0\) 稱為回歸常數，將 \(\beta_1,\beta_1,\cdots,\beta_p\) 稱為回歸系數。

• 總體回歸函數：定量地刻畫因變量的條件均值與自變量之間的相依關系，即

  \[{\rm E}(y|x)=\beta_0+\beta_1 x_1+\beta_2x_2+\cdots+\beta_px_p \ , \]

  回歸分析的首要目標就是估計回歸函數。

假定已有因變量 \(y\) 和自變量 \(x_1,x_2,\cdots,x_p\) 的 \(n\) 組觀測樣本 \(\left(x_{i1},x_{i2},\cdots,x_{ip}\right),\,i=1,2,\cdots,n\) 。

• 樣本回歸模型：樣本觀測值滿足如下線性方程組

\[y_i=\beta_0+\beta_1x_{i1}+\beta_2x_{i2}+\cdots+\beta_px_{ip}+e_i \ , \quad i=1,2,\cdots,n \ . \]

• Gauss-Markov 假設：隨機誤差項 \(e_i,\,i=1,2,\cdots,n\) 滿足如下假設：
  1. 零均值：\({\rm E}(e_i)=0\) ；
  2. 同方差：\({\rm Var}(e_i)=\sigma^2\) ；
  3. 不相關：\({\rm Cov}(e_i,e_j)=0 \ , \ \ i\neq j\) 。

如果將樣本回歸模型中的線性方程組，用矩陣形式表示為

\[Y\xlongequal{def}\left(\begin{array}{c} y_1 \\ y_2 \\ \vdots \\ y_n \end{array}\right)=\left(\begin{array}{c} 1 & x_{11} & \cdots & x_{1p} \\ 1 & x_{21} & \cdots & x_{2p} \\ \vdots & \vdots & \ddots & \vdots \ \\ 1 & x_{n1} & \cdots & x_{np} \\ \end{array}\right)\left(\begin{array}{c} \beta_0 \\ \beta_1 \\ \vdots \\ \beta_p \end{array}\right)+\left(\begin{array}{c} e_1 \\ e_2 \\ \vdots \\ e_n \end{array}\right)\xlongequal{def}X\beta+e \ , \]

其中 \(X\) 稱為設計矩陣。若將 Gauss-Markov 假設也用矩陣形式表示為

\[{\rm E}(e)=0 \ , \quad {\rm Cov}(e)=\sigma^2I_n \ , \]

將矩陣方程和 Gauss-Markov 假設合寫在一起，即可得到最基本的線性回歸模型：

\[Y=X\beta+e \ , \quad {\rm E}(e)=0 \ , \quad {\rm Cov}(e)=\sigma^2I_n \ . \]

最小二乘估計：尋找一個 \(\beta\) 的估計，使得誤差向量 \(e=Y-X\beta\) 的長度的平方達到最小。設

\[\begin{aligned} Q(\beta)&=\|Y-X\beta\|^2 \\ \\ &=(Y-X\beta)'(Y-X\beta) \\ \\ &=Y'Y-2Y'X\beta+\beta'X'X\beta \ , \end{aligned} \]

對 \(\beta\) 求導，令其等於零，可得正規方程組

\[X'X\beta=X'Y \ . \]

正規方程組有唯一解的充要條件是 \({\rm rank}\left(X'X\right)=p+1\) ，這等價於 \({\rm rank}(X)=p+1\) ，即 \(X\) 是列滿秩的。正規方程組的唯一解為

\[\hat\beta=\left(X'X\right)^{-1}X'Y \ . \]

以上的討論說明 \(\hat\beta\) 是 \(Q(\beta)\) 的一個駐點，下面證明 \(\hat\beta\) 是 \(Q(\beta)\) 的最小值點。

對任意的 \(\beta\in\mathbb{R}^{p+1}\) ，有

\[\begin{aligned} \|Y-X\beta\|^2&=\left\|Y-X\hat\beta+X\left(\hat\beta-\beta\right)\right\|^2 \\ \\ &=\left\|Y-X\hat\beta\right\|^2+\left\|X\left(\hat\beta-\beta\right)\right\|^2+2\left(\hat\beta-\beta\right)'X'\left(Y-X\hat\beta\right) \ . \end{aligned} \]

因為 \(\hat\beta\) 滿足正規方程組 \(X'X\hat\beta=X'Y\) ，所以 \(X'\left(Y-X\hat\beta\right)=0\) ，所以對任意的 \(\beta\in\mathbb{R}^{p+1}\) ，有

\[\begin{aligned} \|Y-X\beta\|^2&=\left\|Y-X\hat\beta\right\|^2+\left\|X\left(\hat\beta-\beta\right)\right\|^2 \ . \end{aligned} \]

所以有

\[Q(\beta)=\|Y-X\beta\|^2\geq \left\|Y-X\hat\beta\right\|^2=Q\left(\hat\beta\right) \ . \]

當且僅當 \(\beta=\hat\beta\) 時等號成立。

我們將 \(\hat{Y}=X\hat\beta\) 稱為 \(Y\) 的擬合值向量或投影向量，注意到

\[\hat{Y}=X\hat\beta=X\left(X'X\right)^{-1}X'Y\xlongequal{def}HY \ , \]

我們將 \(H=X\left(X'X\right)^{-1}X'\) 稱為帽子矩陣，它是自變量空間的投影矩陣，這里的自變量空間指的是矩陣 \(X\) 的列空間。此外，我們將 \(\hat{e}=Y-\hat{Y}=(I-H)Y\) 稱為殘差向量。

中心化模型：將原始數據進行中心化，令

\[\bar{x}_j=\frac1n\sum_{i=1}^nx_{ij} \ , \quad j=1,2,\cdots,p \ . \]

將樣本回歸模型改寫為

\[y_i=\alpha+\beta_1\left(x_{i1}-\bar{x}_1\right)+\beta_2\left(x_{i2}-\bar{x}_2\right)+\cdots+\beta_p\left(x_{ip}-\bar{x}_p\right)+e_i \ , \quad i=1,2,\cdots,n \]

其中 \(\alpha=\beta_0+\beta_1\bar{x}_1+\beta_2\bar{x}_2+\cdots+\beta_p\bar{x}_p\) 。定義設計矩陣為

\[X_c=\begin{pmatrix} x_{11}-\bar{x}_1 & x_{12}-\bar{x}_2 & \cdots &x_{1p}-\bar{x}_p \\ x_{21}-\bar{x}_1 & x_{22}-\bar{x}_2 & \cdots &x_{2p}-\bar{x}_p \\ \vdots &\vdots & \ddots & \vdots \\ x_{n1}-\bar{x}_1 & x_{n2}-\bar{x}_2 & \cdots &x_{np}-\bar{x}_p \\ \end{pmatrix} \ , \]

將中心化模型寫成矩陣形式：

\[Y=\boldsymbol 1_n\alpha+X\beta+e=\begin{pmatrix} \boldsymbol 1_n & X_c \end{pmatrix}\begin{pmatrix} \alpha \\ \beta \end{pmatrix}+e \ . \]

其中 \(\beta=\left(\beta_1,\beta_2,\cdots,\beta_p\right)'\) 。注意到

\[\boldsymbol 1_n'X_c=0 \ , \]

因此正規方程組可以寫為

\[\begin{pmatrix} n & 0 \\ 0 & X_c'X_c \end{pmatrix} \begin{pmatrix} \alpha \\ \beta \end{pmatrix} =\begin{pmatrix} \boldsymbol 1_n'Y \\ X_c'Y \end{pmatrix} \quad \iff \quad \left\{\begin{array}{l} n\alpha=\boldsymbol 1_n'Y \ , \\ X_c'X_c\beta=X_c'Y \ , \end{array}\right. \]

解得回歸參數的最小二乘估計為

\[\left\{\begin{array}{l} \hat\alpha=\bar{y} \ , \\ \hat\beta=\left(X_c'X_c\right)^{-1}X_c'Y \ . \end{array}\right. \]

標准化模型：將原始數據進行標准化，令

\[\begin{aligned} &s_j^2=\sum_{i=1}^n\left(x_{ij}-\bar{x}_j\right)^2 \ , \quad j=1,2,\cdots,p \ , \\ \\ &z_{ij}=\frac{x_{ij}-\bar{x}_j}{s_{j}} \ , \quad i=1,2,\cdots,n \quad j=1,2,\cdots,p \ , \end{aligned} \]

將樣本回歸模型改寫為

\[y_i=\gamma+\frac{x_{i1}-\bar{x}_1}{s_1}\beta_1+\frac{x_{i2}-\bar{x}_2}{s_2}\beta_1+\cdots\frac{x_{ip}-\bar{x}_p}{s_p}\beta_1+e_i \ , \quad i=1,2,\cdots,n \ , \]

令 \(Z=(z_{ij})_{n\times p}\) ，將標准化模型寫成矩陣形式：

\[Y=\boldsymbol 1_n\gamma+Z\beta+e=\begin{pmatrix} \boldsymbol 1_n & Z \end{pmatrix}\begin{pmatrix} \gamma \\ \beta \end{pmatrix}+e \ . \]

解得回歸參數的最小二乘估計為

\[\left\{\begin{array}{l} \hat\gamma=\bar{y} \ , \\ \hat\beta=\left(Z'Z\right)^{-1}Z'Y \ . \end{array}\right. \]

這里矩陣 \(Z\) 具有如下性質：

\[\boldsymbol{1}_n'Z=0 \ , \quad R=Z'Z=(r_{ij})_{p\times p} \ . \]

其中 \(r_{ij}\) 為自變量 \(x_i\) 和 \(x_j\) 的樣本相關系數，矩陣 \(R\) 是自變量的樣本相關系數矩陣。

3.2 最小二乘估計的性質

設線性回歸模型滿足 Gauss-Markov 假設，即

\[Y=X\beta+e \ , \quad {\rm E}(e)=0 \ , \quad {\rm Cov}(e)=\sigma^2I_n \ . \]

下面我們來討論最小二乘估計 \(\hat\beta=\left(X'X\right)^{-1}X'Y\) 的一些良好的性質。

定理 3.2.1：對於線性回歸模型，最小二乘估計 \(\hat\beta=\left(X'X\right)^{-1}X'Y\) 具有下列性質：

(1) \({\rm E}\left(\hat\beta\right)=\beta\) 。

(2) \({\rm Cov}\left(\hat\beta\right)=\sigma^2\left(X'X\right)^{-1}\) 。

(1) 因為 \({\rm E}(Y)=X\beta\) ，所以

\[{\rm E}\left(\hat\beta\right)=\left(X'X\right)^{-1}X'{\rm E}(Y)=\left(X'X\right)^{-1}X'X\beta=\beta \ . \]

(2) 因為 \({\rm Cov}(Y)={\rm Cov}(e)=\sigma^2I_n\) ，所以

\[\begin{aligned} {\rm Cov}\left(\hat\beta\right)&={\rm Cov}\left(\left(X'X\right)^{-1}X'Y\right) \\ \\ &=\left(X'X\right)^{-1}X'{\rm Cov}(Y)X\left(X'X\right)^{-1} \\ \\ &=\left(X'X\right)^{-1}X\sigma^2I_nX\left(X'X\right)^{-1} \\ \\ &=\sigma^2\left(X'X\right)^{-1} \ . \end{aligned} \]

推論 3.2.1：設 \(c\) 是 \(p+1\) 維常數向量，我們稱 \(c'\hat\beta\) 是 \(c'\beta\) 的最小二乘估計，具有下列性質：

(1) \({\rm E}\left(c'\hat\beta\right)=c'\beta\) 。

(2) \({\rm Cov}\left(c'\hat\beta\right)=\sigma^2c'\left(X'X\right)^{-1}c\) 。

該推論說明，對任意的線性函數 \(c'\beta\) ，都有 \(c'\hat\beta\) 是 \(c'\beta\) 的無偏估計，

定理 3.2.2 (Gauss-Markov)：對於線性回歸模型，在 \(c'\beta\) 的所有線性無偏估計中，最小二乘估計 \(c'\hat\beta\) 是唯一的最小方差線性無偏估計 (best linear unbiased estimator, BLUE) 。

假設 \(a'Y\) 是 \(c'\beta\) 的一個線性無偏估計，則對 \(\forall\beta\in\mathbb{R}^{p+1}\) ，都有

\[{\rm E}\left(a'Y\right)=a'X\beta=c'\beta \ . \]

所以 \(a'X=c'\) 。又因為

\[\begin{aligned} &{\rm Var}(a'Y)=\sigma^2a'a=\sigma^2\|a\|^2 \ , \\ \\ &{\rm Var}\left(c'\hat\beta\right)=\sigma^2c'\left(X'X\right)^{-1}c \ , \end{aligned} \]

對 \(\|a\|^2\) 做分解有

\[\begin{aligned} \|a\|^2&=\left\|a-X\left(X'X\right)^{-1}c+X\left(X'X\right)^{-1}c\right\|^2 \\ \\ &=\left\|a-X\left(X'X\right)^{-1}c\right\|^2+\left\|X\left(X'X\right)^{-1}c\right\|^2 +2c'\left(X'X\right)^{-1}X'\left(a-X\left(X'X\right)^{-1}c\right) \\ \\ &=\left\|a-X\left(X'X\right)^{-1}c\right\|^2+\left\|X\left(X'X\right)^{-1}c\right\|^2 \ . \end{aligned} \]

最后一個等號是因為

\[\begin{aligned} 2c'\left(X'X\right)^{-1}X'\left(a-X\left(X'X\right)^{-1}c\right)&=2c'\left(X'X\right)^{-1}\left(X'a-c\right)=0 \ . \end{aligned} \]

代入 \(a'Y\) 的方差，所以

\[\begin{aligned} {\rm Var}\left(a'Y\right)&=\sigma^2\|a\|^2 \\ \\ &=\sigma^2\left\|a-X\left(X'X\right)^{-1}c\right\|^2+\sigma^2\left\|X\left(X'X\right)^{-1}c\right\|^2 \\ \\ &=\sigma^2\left\|a-X\left(X'X\right)^{-1}c\right\|^2+\sigma^2c'\left(X'X\right)^{-1}X'X\left(X'X\right)^{-1}c \\ \\ &=\sigma^2\left\|a-X\left(X'X\right)^{-1}c\right\|^2+{\rm Var}\left(c'\hat\beta\right) \\ \\ &\geq{\rm Var}\left(c'\hat\beta\right) \ . \end{aligned} \]

等號成立當且僅當 \(\left\|a-X\left(X'X\right)^{-1}c\right\|=0\) ，即 \(a=X\left(X'X\right)^{-1}c\) ，此時 \(c'Y=c'\hat\beta\) ，得證。

誤差方差 \(\sigma^2\) 反映了模型誤差對因變量的影響大小，下面來估計 \(\sigma^2\) 。

注意到誤差向量 \(e=Y-X\beta\) 是不可觀測的，用 \(\hat\beta\) 代替 \(\beta\) ，稱

\[\hat{e}=Y-X\hat\beta=Y-\hat{Y} \ . \]

為殘差向量。設 \(x_i'\) 為設計矩陣 \(X\) 的第 \(i\) 行，則第 \(i\) 次觀測的殘差可以表示為

\[\hat e_i=y_i-x_i'\hat\beta=y_i-\hat{y}_i \ , \quad i=1,2,\cdots,n \ , \]

稱 \(\hat{y}_i\) 為第 \(i\) 次觀測的擬合值，稱 \(\hat{Y}\) 為擬合值向量。

將 \(\hat{e}\) 看作 \(e\) 的一個估計，定義殘差平方和為

\[{\rm RSS}=\hat{e}'\hat{e}=\sum_{i=1}^n\hat{e}_i^2 \ , \]

它從整體上反映了觀測數據與回歸直線的偏離程度。

定理 3.2.3：我們用 \({\rm RSS}\) 來構造 \(\sigma^2\) 的無偏估計量。

(a) \({\rm RSS}=Y'\left(I_n-X\left(X'X\right)^{-1}X'\right)Y=Y'\left(I_n-H\right)Y\) ；

(b) 若定義 \(\sigma^2\) 的估計量為

\[\hat\sigma^2=\frac{\rm RSS}{n-{\rm rank}(X)} \ , \]

則 \(\hat\sigma^2\) 是 \(\sigma^2\) 的無偏估計量。

(a) 引入帽子矩陣 \(\hat{Y}=HY\) ，所以 \(\hat{e}=\left(I_n-H\right)Y\) ，所以

\[{\rm RSS}=\hat{e}'\hat{e}=Y'(I_n-H)'(I_n-H)Y=Y'(I_n-H)Y \ . \]

(b) 把 \(Y=X\beta+e\) 代入 \({\rm RSS}\) 的表達式可得

\[\begin{aligned} {\rm RSS}&=(X\beta+e)'(I_n-H)(X\beta+e) \\ \\ &=\beta'X'(I_n-H)X\beta+e'(I_n-H)e \\ \\ &=\beta'X'X\beta-\beta'X'X(X'X)^{-1}X'X\beta++e'(I_n-H)e \\ \\ &=e'(I_n-H)e \ . \end{aligned} \]

由定理 2.2.1 可知

\[\begin{aligned} {\rm E}\left({\rm RSS}\right)&={\rm E}\left[e'(I_n-H)e\right] \\ \\ &=0+{\rm tr}\left[(I_n-H)\sigma^2I_n\right] \\ \\ &=\sigma^2(n-{\rm tr}(H)) \ . \end{aligned} \]

根據對稱冪等矩陣的秩與跡相等這一性質可得

\[{\rm tr}(H)={\rm rank}(H)={\rm rank}(X) \ . \]

所以有

\[{\rm E}\left({\rm RSS}\right)=\sigma^2(n-{\rm rank}(X)) \ . \]

進而

\[\hat\sigma^2=\frac{\rm RSS}{n-{\rm rank}(X)} \]

是 \(\sigma^2\) 的無偏估計量。

如果誤差向量 \(e\) 服從正態分布，即 \(e\sim N_n\left(0,\sigma^2I_n\right)\) ，則可以得到 \(\hat\beta\) 和 \(\hat\sigma^2\) 的更多性質。

定理 3.2.4：對於線性回歸模型，如果誤差向量 \(e\sim N_n\left(0,\sigma^2I_n\right)\) ，則

(a) \(\hat\beta\sim N\left(\beta,\sigma^2\left(X'X\right)^{-1}\right)\) ；

(b) \({\rm RSS}/\sigma^2\sim\chi^2(n-{\rm rank}(X))\) ；

(c) \(\hat\beta\) 與 \({\rm RSS}\) 相互獨立。

(a) 注意到

\[\hat\beta=\left(X'X\right)^{-1}X'Y=\left(X'X\right)^{-1}X'(X\beta+e)=\beta+\left(X'X\right)^{-1}X'e \ . \]

由定理 2.3.4 和定理 3.2.1 可得

\[\hat\beta\sim N\left(\beta,\sigma^2\left(X'X\right)^{-1}\right) \ . \]

(b) 注意到

\[\begin{aligned} &\frac{e}{\sigma}\sim N(0,I_n) \ , \\ \\ &\frac{\rm RSS}{\sigma^2}=\frac{e'(I_n-H)e}{\sigma^2}=\left(\frac{e}{\sigma}\right)'(I_n-H)\left(\frac{e}{\sigma}\right) \ , \end{aligned} \]

根據對稱冪等矩陣的秩與跡相等這一性質可得

\[{\rm rank}(I_n-H)={\rm tr}(I_n-H)=n-{\rm tr}(H)=n-{\rm rank}(H)=n-{\rm rank}(X) \ . \]

由定理 2.4.3 可得

\[\frac{\rm RSS}{\sigma^2}\sim\chi^2\left(n-{\rm rank}(X)\right) \ . \]

(c) 因為 \(\hat\beta=\beta+\left(X'X\right)^{-1}X'e\) ，而 \({\rm RSS}=e'\left(I_n-H\right)e\) ，注意到

\[\left(X'X\right)^{-1}X'\cdot\sigma^2I_n\cdot\left(I_n-H\right)=0 \ , \]

由推論 2.4.10 可知 \(\left(X'X\right)^{-1}X'e\) 與 \({\rm RSS}\) 相互獨立，從而 \(\hat\beta\) 與 \({\rm RSS}\) 相互獨立。

當 \(\beta\) 的第一個分量是 \(\beta_0\) 時，取 \(c=(0,\cdots,0,1,0,\cdots,0)'\) ，其中 \(1\) 在 \(c\) 的第 \(i+1\) 個位置，則

\[c'\beta=\beta_i \ , \quad c'\hat\beta=\hat\beta_i \ , \quad i=1,2,\cdots,p \ . \]

推論 3.2.2：對於線性回歸模型，若 \(e\sim N\left(0,\sigma^2I_n\right)\) ，則

(a) \(\beta_i\) 的最小二乘估計 \(\hat\beta_i\) 的分布為：

\[\hat\beta_i\sim N\left(\beta_i,\sigma^2\left(\left(X'X\right)^{-1}\right)_{i+1,i+1}\right) \ , \quad i=1,2,\cdots,p \ ; \]

(b) 在 \(\beta_i\) 的一切線性無偏估計中，\(\hat\beta_i\) 是唯一的方差最小者，\(i=1,2,\cdots,p\) 。

推論 3.2.3：對於中心化模型，此時 \(\beta=\left(\beta_1,\beta_2,\cdots,\beta_p\right)'\) ，則有

(a) \({\rm E}\left(\hat\alpha\right)=\alpha,\,{\rm E}\left(\hat\beta\right)=\beta\) ，其中 \(\hat\alpha=\bar{y},\,\hat\beta=\left(X_c'X_c\right)^{-1}X_c'Y\) ；

(b)

\[{\rm Cov}\begin{pmatrix} \hat\alpha \\ \hat\beta \end{pmatrix}=\sigma^2\begin{pmatrix} \cfrac1n & 0 \\ 0 & \left(X_c'X_c\right)^{-1} \end{pmatrix} \ ; \]

(c) 若進一步假設 \(e\sim N\left(0,\sigma^2I_n\right)\) ，則

\[\hat\alpha\sim N\left(\alpha,\frac{\sigma^2}{n}\right) \ , \quad \hat\beta\sim N\left(\beta,\sigma^2\left(X_c'X_c\right)^{-1}\right) \ , \]

且 \(\hat\alpha\) 與 \(\hat\beta\) 相互獨立。

總偏差平方和的分解：為了度量數據擬合的程度，我們在已經給出殘差平方和 \({\rm RSS}\) 的定義的基礎上，繼續給出回歸平方和 \({\rm ESS}\) 以及總偏差平方和 \({\rm TSS}\) 的定義。

• 回歸平方和：

  \[{\rm ESS}=\sum_{i=1}^n\left(\hat{y}_i-\bar{y}\right)^2=\left(\hat{Y}-\boldsymbol{1}_n\bar{y}\right)'\left(\hat{Y}-\boldsymbol{1}_n\bar{y}\right) \ . \]

• 總偏差平方和：

  \[{\rm TSS}=\sum_{i=1}^n\left(y_i-\bar{y}\right)^2=\left(Y-\boldsymbol{1}_n\bar{y}\right)'\left(Y-\boldsymbol{1}_n\bar{y}\right) \ . \]

• 判定系數/測定系數：

  \[R^2=\frac{\rm ESS}{\rm TSS} \ . \]

  稱 \(R=\sqrt{R^2}\) 為復相關系數。

為了探究 \({\rm TSS},\,{\rm ESS},\,{\rm RSS}\) 之間的關系，需要給出正規方程組的另一個等價寫法。寫出目標函數：

\[Q(\beta)=\sum_{i=1}^ne_i^2=\sum_{i=1}^n\left(y_i-\beta_0-\beta_1x_{i1}-\cdots-\beta_px_{ip}\right)^2 \ , \]

關於 \(\beta_0,\beta_1,\cdots,\beta_p\) 分別求偏導數，並令這些導函數等於 \(0\) 可得

\[\left\{\begin{array}{c} \displaystyle\sum_{i=1}^n\left(y_i-\beta_0-\beta_1x_{i1}-\cdots-\beta_px_{ip}\right)=0 \ , \\ \displaystyle\sum_{i=1}^n\left(y_i-\beta_0-\beta_1x_{i1}-\cdots-\beta_px_{ip}\right)x_{i1}=0 \ , \\ \vdots \\ \displaystyle\sum_{i=1}^n\left(y_i-\beta_0-\beta_1x_{i1}-\cdots-\beta_px_{ip}\right)x_{ip}=0 \ , \end{array}\right. \]

這個方程組與 \(X'X\beta=X'Y\) 等價。由於最小二乘估計 \(\hat\beta_0,\hat\beta_1,\cdots,\hat\beta_p\) 是正規方程組的解，所以

\[\left\{\begin{array}{l} \displaystyle\sum_{i=1}^n\left(y_i-\hat\beta_0-\hat\beta_1x_{i1}-\cdots-\hat\beta_px_{ip}\right)=0 \ , \\ \displaystyle\sum_{i=1}^n\left(y_i-\hat\beta_0-\hat\beta_1x_{i1}-\cdots-\hat\beta_px_{ip}\right)x_{i1}=0 \ , \\ \qquad \vdots \\ \displaystyle\sum_{i=1}^n\left(y_i-\hat\beta_0-\hat\beta_1x_{i1}-\cdots-\hat\beta_px_{ip}\right)x_{ip}=0 \ , \end{array}\right. \]

由第一個方程可知

\[\sum_{i=1}^n\hat{e}_i=0 \ , \quad \frac1n\sum_{i=1}^n\hat{y}_i=\bar{y}=\frac1n\sum_{i=1}^ny_i \ . \]

所以有

\[\begin{aligned} {\rm TSS}&=\sum_{i=1}^n\left(y_i-\bar{y}\right)^2 \\ \\ &=\sum_{i=1}^n\left(y_i-\hat{y}_i+\hat{y}_i-\bar{y}\right)^2 \\ \\ &=\sum_{i=1}^n\left(y_i-\hat{y}_i\right)^2+\sum_{i=1}^n\left(\hat{y}_i-\bar{y}\right)^2+2\sum_{i=1}^n\left(y_i-\hat{y}_i\right)\left(\hat{y}_i-\bar{y}\right) \\ \\ &=\sum_{i=1}^n\left(y_i-\hat{y}_i\right)^2+\sum_{i=1}^n\left(\hat{y}_i-\bar{y}\right)^2+0 \\ \\ &={\rm RSS}+{\rm ESS} \ . \end{aligned} \]

這就證明了總偏差平方和的分解式，即 \({\rm TSS}={\rm RSS}+{\rm ESS}\) 。我們可以基於這個公式來解釋這三個平方和以之間關系，以及判定系數 \(R^2\) 的含義。

• 若模型中沒有任何自變量，即 \(y_i=\beta_0+e_i,\,i=1,2..,n\) ，可以證明 \(\bar{y}\) 就是 \(\beta_0\) 的最小二乘估計，此時 \({\rm TSS}\) 就是該模型的殘差平方和。

• 若模型中引入了自變量 \(x_1,x_2,\cdots,x_p\) ，此時的殘差平方和為 \({\rm TSS}={\rm RSS}+{\rm ESS}\) 中的 \({\rm RSS}\) ，所以可以認為 \({\rm ESS}\) 衡量了在模型中引入 \(p\) 個自變量之后，殘差平方和的減少量。

• 因此我們認為 \(R^2\) 衡量了在模型中引入 \(p\) 個自變量之后，殘差平方和減少的比例。也可以說，\(R^2\) 衡量了自變量 \(x_1,x_2,\cdots,x_p\) 對因變量 \(y\) 的解釋能力，且有 \(0\leq R^2\leq1\) 。

定理 3.2.5：對於中心化模型，回歸平方和 \({\rm ESS}\) 的計算公式為

\[{\rm ESS}=\hat\beta'X_c'Y=Y'X_c\left(X_c'X_c\right)^{-1}X_c'Y \ . \]

由中心化模型可得 \(\hat{Y}=\boldsymbol 1_n\hat\alpha+X_c\hat\beta\) ，其中 \(\hat\beta=\left(\hat\beta_1,\hat\beta_2,\cdots,\hat\beta_p\right)\) ，所以有

\[\hat{Y}-\boldsymbol1_n\bar{y}=\hat{Y}-\boldsymbol1_n\hat\alpha=X_c\hat\beta \ . \]

代入 \({\rm ESS}\) 的計算公式得

\[{\rm ESS}=\left(\hat{Y}-\boldsymbol{1}_n\bar{y}\right)'\left(\hat{Y}-\boldsymbol{1}_n\bar{y}\right)=\hat\beta'X_c'X_c\hat\beta=\hat\beta'X_c'Y \ . \]