数学 - 回归分析 - 第 3 章 多元线性回归 - 3.5 中心化和标准化

3.5 中心化和标准化

在多元线性回归中，由于涉及多个自变量，自变量单位往往不同，给利用回归方程进行结构分析带来一些困难。由于有时多元回归涉及的数据量很大，可能因为舍入误差而使计算结果不理想。因此，对原始数据进行处理，避免较大的误差是有实际意义的。

产生舍入误差有两个主要原因：一是在回归分析计算中数据量级有很大差异；二是设计矩阵 \(\bm{X}\) 的列向量近似线性相关，\(\bm{X}'\bm{X}\) 为病态矩阵，其逆矩阵 \((\bm{X}'\bm{X})^{-1}\) 产生了较大的误差。

3.5.1 中心化

多元线性理论回归模型一般形式为：

\[y = \beta_0 + \beta_1 x_1 + \beta_2 x_2 + \cdots + \beta_p x_p + \varepsilon \]

多元线性经验回归方程一般形式为：

\[\hat{y} = \hat{\beta}_0 + \hat{\beta}_1 x_1 + \hat{\beta}_2 x_2 + \cdots + \hat{\beta}_p x_p \]

经验回归方程必定经过样本中心 \((\overline{x}_1, \overline{x}_2, \cdots, \overline{x}_p;\overline{y})\)，将坐标原点移至样本中心，即做坐标变换

\[x_{ij}' = x_{ij} - \overline{x}_j, \quad i=1,\cdots,n, \quad j = 1,\cdots,p \]

\[y_i' = y_i - \overline{y}, \quad i=1,\cdots, n \]

则经验回归方程转变为：

\[\hat{y}' = \hat{\beta}_1 x_1' + \hat{\beta}_2 x_2' + \cdots + \hat{\beta}_p x_p' \]

上式即为中心化经验回归方程。中心化经验回归方程的常数项为 \(0\)，而回归系数的最小二乘估计 \(\hat{\beta}_1\)，\(\hat{\beta}_2\)，\(\cdots\)，\(\hat{\beta}_p\) 保持不变。这是因为坐标系的平移变换只改变直线的截距，不改变直线的斜率。

中心化经验回归方程较一般的经验回归方程少一个未知参数，这使得计算量减少很多。可以先对数据中心化，求出中心化经验回归方程，再由

\[\hat{\beta}_0 = \overline{y} - \hat{\beta}_1 \overline{x}_1 + \hat{\beta}_2 \overline{x}_2 + \cdots + \hat{\beta}_p \overline{x}_p \]

求出常数项估计值 \(\hat{\beta}_0\)。

3.5.2 标准化回归系数

在用回归方程描述某种现象时，由于自变量 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_p\) 所用单位大多不同，数据的大小差异也往往很大，这不利于在同一标准上进行比较。为了消除量纲不同和数量级差异所带来的影响，就需要将样本数据做标准化处理。

对 \(i=1,2,\cdots,n\)，\(j=1,2,\cdots,p\)，样本数据的标准化公式为：

\[x_{ij}^* = \frac{x_{ij} - \overline{x}_j}{\sqrt{L_{jj}}} \]

\[y_i^* = \frac{y_i - \overline{y}}{\sqrt{L_{yy}}} \]

上式中，

\[\sqrt{L_{jj}} = \sum_{i=1}^n (x_{ij} - \overline{x}_j)^2, \quad \sqrt{L_{yy}} = \sum_{i=1}^n (y_i - \overline{y})^2 \]

分别表示自变量 \(x_j\) 和因变量 \(y\) 的离差平方和。用最小二乘法求出标准化的样本数据 \((x_{i1}^*, x_{i2}^*, \cdots, x_{ip}^* ; y_{i}^*)\) 的经验回归方程，记为：

\[\hat{y}_{i}^* = \hat{\beta}_1^* x_1^* + \hat{\beta}_2^* x_2^* + \cdots + \hat{\beta}_p^* x_p^* \]

式中，\(\hat{\beta}_1^*\)，\(\hat{\beta}_2^*\)，\(\cdots\)，\(\hat{\beta}_p^*\) 为 \(y\) 对自变量 \(x_1\)，\(x_2\)，\(\cdots\)，\(x_p\) 的标准化回归系数。标准化包括了中心化，因而标准化的回归常数项为 \(0\)