數學 - 回歸分析 - 第 2 章 一元線性回歸 - 2.1 一元線性回歸模型

2.1 一元線性回歸模型

一元線性回歸是描述兩個變量之間統計關系的最簡單的回歸模型，通過該回歸模型的建立過程，我們可以了解到回歸分析方法的基本統計思想和在實際問題中的應用原理。

2.1.1 一元線性回歸模型的數學形式

(1) 一元線性理論回歸模型

描述 \(x\) 與 \(y\) 之間線性關系的數學結構式可用下式：

\[y = \beta_0 + \beta_1 x + \varepsilon \tag{2.1.1} \]

變量 \(y\) 與變量 \(x\) 的關系可以用兩部分來描述：一部分是由於 \(x\) 的變化引起 \(y\) 的線性變化，即 \(\beta_0 + \beta_1 x\)；另一部分是由其他一切隨機因素引起的，記為 \(\varepsilon\)。

式 \((2.1)\) 稱為變量 \(y\) 對 \(x\) 的一元線性理論回歸模型。一般我們稱 \(y\) 為被解釋變量（因變量），\(x\) 為解釋變量（自變量）。式中，\(\beta_0\) 和 \(\beta_1\) 是未知參數，稱 \(\beta_0\) 為回歸常數，\(\beta_1\) 為回歸系數；\(\varepsilon\) 表示其他隨機因素的影響，通常假定 \(\varepsilon\) 滿足

\[\left\{ \begin{aligned} & E(\varepsilon) = 0 \\ & \text{var} (\varepsilon) = \sigma^2 \end{aligned} \tag{2.1.2} \right. \]

對式 \((2.1.1)\) 兩端求條件期望，得

\[E(y|x) = \beta_0 + \beta_1 x \tag{2.1.3} \]

稱 \((2.1.3)\) 為回歸方程。

(2) 一元線性樣本回歸模型

對研究的某個實際問題，如果獲得的 \(n\) 組樣本觀測值 \((x_1,y_1)、(x_2,y_2)、\cdots、(x_n,y_n)\) 符合模型式 \((2.1.1)\)，則

\[y_i = \beta_0 +\beta_1 x_i + \varepsilon_i, \quad i = 1,2,\cdots,n \tag{2.1.4} \]

由式 \((2.1.2)\)，有

\[\left\{ \begin{aligned} & E(\varepsilon_i) = 0 \\ & \text{var} (\varepsilon_i) = \sigma^2 \end{aligned} , \quad i = 1,2,\cdots,n \tag{2.1.5} \right. \]

通常假定 \(n\) 組數據是獨立觀測的，因而 \(\varepsilon_1\)、\(\varepsilon_2\)、\(\cdots\)、\(\varepsilon_n\) 是相互獨立的隨機變量。\(x_i\) \((i=1,2,\cdots,n)\) 是確定性變量，其值可以精確測量和控制。我們稱式 \((2.1.4)\) 為一元線性樣本回歸模型。

式 \((2.1.1)\) 的理論回歸模型與式 \((2.1.4)\) 的樣本回歸模型是等價的，因而可將兩者統稱為一元線性回歸模型。（理論回歸模型描述的是總體，樣本回歸模型描述的是樣本）

對式 \((2.1.4)\) 兩邊求數學期望和方差，得

\[\left\{ \begin{aligned} & E(y_i) = \beta_0 + \beta_1 x_i\\ & \text{var} (y_i) = \sigma^2 \end{aligned} , \quad i = 1,2,\cdots,n \tag{2.1.6} \right. \]

式 \((2.1.6)\) 表明隨機變量 \(y_1、y_2、\cdots、y_n\) 數學期望不等，方差相等，因此變量 \(y_1\) 、\(y_2\)、\(\cdots\)、\(y_n\) 是獨立的隨機變量，但並不是同分布的。而 \(\varepsilon_1\)、\(\varepsilon_2\)、\(\cdots\)、\(\varepsilon_n\) 是獨立同分布的隨機變量。式 \((2.1.6)\) 從平均意義上表達了變量 \(y\) 與變量 \(x\) 的統計規律性。

(3) 一元線性經驗回歸方程

回歸分析主要任務是通過 \(n\) 組樣本觀測值 \((x_i,y_i)(i=1,2,\cdots,n)\) 對 \(\beta_0\)，\(\beta_1\) 進行估計。一般用 \(\hat{\beta}_0\)，\(\hat{\beta}_1\) 分別表示 \(\beta_0\)，\(\beta_1\) 的估計值。

\[\hat{y} = \hat{\beta}_0 + \hat{\beta}_1 x \tag{2.1.7} \]

為 \(y\) 關於 \(x\) 的一元線性經驗回歸方程。

(4) 一元線性回歸模型的進一步假設

實際問題研究中，為方便對參數做區間估計和假設檢驗，我們假定模型式 \((2.1)\) 中誤差項 \(\varepsilon\) 服從正態分布。

\[\varepsilon \sim N(0,\sigma^2) \tag{2.1.8} \]

此時 \(\varepsilon_1\)、\(\varepsilon_2\)、\(\cdots\)、\(\varepsilon_n\) 是 \(\varepsilon\) 的獨立同分布的樣本。

\[\varepsilon_i \sim N(0,\sigma^2) \tag{2.1.9} \]

在 \(\varepsilon_i\) 服從假定式 \((2.1.9)\) 下，進一步有隨機變量 \(y_i\) 服從正態分布。

\[y_i \sim N(\beta_0 + \beta_1 x_i, \sigma^2), \quad i = 1,2,\cdots,n \tag{2.1.10} \]

(5) 一元線性回歸模型矩陣表示

將一元線性樣本回歸模型 \((2.1.4)\) 用矩陣表示。

\[\bm{y} = \begin{bmatrix} y_1 \\ y_2 \\ \vdots \\ y_n \end{bmatrix}, \quad \bm{x} = \begin{bmatrix} 1 & x_1 \\ 1 & x_2 \\ \vdots & \vdots \\ 1 & x_n \end{bmatrix}, \quad \bm{\varepsilon} = \begin{bmatrix} \varepsilon_1 \\ \varepsilon_2 \\ \vdots \\ \varepsilon_n \end{bmatrix}, \quad \bm{\beta} = \begin{bmatrix} \beta_0 \\ \beta_1 \\ \end{bmatrix} \tag{2.1.11} \]

於是模型式 \((2.1.5)\) 表示為式 \((2.1.12)\)，\(I_n\) 表示 \(n\) 階單位陣。

\[\bm{y} = \bm{x} \bm{\beta} + \bm{\varepsilon}, \quad \left\{ \begin{aligned} & E(\bm{\varepsilon}) = 0 \\ & \text{var}(\bm{\varepsilon}) = \sigma^2 I_n \end{aligned} \right. \tag{2.1.12} \]