時間序列分析——概念敘述

本文總結了一些時間序列分析中可能考到的概念解釋。

觀前提示：本文系作者獨立完成，審閱不足，如有發現錯誤，以課本為准，並且歡迎在評論區中指正。

目錄

• Part 1：三大模型
• Part 2：時間序列的預報
• Part 3：ARMA模型的參數估計

Part 1：三大模型

譜函數：設平穩序列\(\{X_t\}\)有自協方差函數\(\{\gamma_k\}\)，如果有\([\pi,\pi]\)上的單調不減右連續函數\(F(\lambda)\)，使得

\[\gamma_k=\int_{-\pi}^{\pi}e^{{\rm i}k\lambda }{\rm d}F(\lambda),\quad F(-\pi)=0,\quad k\in\mathbb{Z}, \]

就稱\(F(\lambda)\)是\(\{X_t\}\)或\(\{\gamma_k\}\)的譜分布函數。

譜密度：設平穩序列\(\{X_t\}\)有自協方差函數\(\{\gamma_k\}\)，如果有\([\pi,\pi]\)上的非負函數\(f(\lambda)\)，使得

\[\gamma_k=\int_{-\pi}^{\pi}f(\lambda)e^{{\rm i}k\lambda}{\rm d}\lambda,\quad k\in\mathbb{Z}, \]

就稱\(f(\lambda)\)是\(\{X_k\}\)或\(\{\gamma_k\}\)的譜密度函數或功率譜密度。

AR(p)模型：如果\(\{\varepsilon_t\}\)是白噪聲\({\rm WN}(0,\sigma^2)\)，實數\(a_1,\cdots,a_p(a_p\ne 0)\)使得多項式\(A(z)\)的零點都在單位圓外：

\[A(z)=1-\sum_{j=1}^pa_jz^j\ne 0,\quad |z|\le 1, \]

就稱\(p\)階差分方程

\[X_t=\sum_{j=1}^pa_jX_{t-j}+\varepsilon_t,\quad t\in\mathbb{Z} \]

是一個\(p\)階自回歸模型，簡稱為\({\rm AR}(p)\)模型。

最小相位條件：實數\(a_1,\cdots,a_p(a_p\ne 0)\)使得多項式\(A(z)\)的零點都在單位圓外：

\[A(z)=1-\sum_{j=1}^pa_jz^j\ne 0,\quad |z|\le 1. \]

MA(q)模型：設\(\{\varepsilon_t\}\)是白噪聲\({\rm WN}(0,\sigma^2)\)，如果實數\(b_1,b_2,\cdots,b_q(b_q\ne 0)\)使得

\[B(z)=1+\sum_{j=1}^qb_jz^j\ne 0,\quad |z|<1, \]

就稱

\[X_t=\varepsilon_t+\sum_{j=1}^qb_j\varepsilon_{t-j},\quad t\in\mathbb{Z} \]

是\(q\)階滑動平均模型，簡稱為\({\rm MA}(q)\)模型。如果進一步要求\(B(z)\)在單位圓上也沒有零點：\(B(z)\ne 0\)當\(|z|\le 1\)，就稱之為可逆的\({\rm MA}(q)\)模型。

ARMA(p, q)模型：設\(\{\varepsilon_t\}\)是\({\rm WN}(0,\sigma^2)\)，實系數多項式\(A(z)\)和\(B(z)\)沒有公共根，滿足\(b_0=1\)，\(a_pb_q\ne 0\)和

\[A(z)=1-\sum_{j=1}^pa_jz^j\ne 0,\quad |z|\le 1;\\ B(z)=1+\sum_{j=1}^qb_jz^j\ne 0,\quad |z|<1, \]

就稱差分方程

\[X_t=\sum_{j=1}^pa_jX_{t-j}+\sum_{j=0}^qb_j\varepsilon_{t-j},\quad t\in\mathbb{Z} \]

是一個自回歸滑動平均模型，簡稱為\({\rm ARMA}(p,q)\)模型。如果進一步要求\(B(z)\)在單位圓上無根，即\(B(z)\ne 0\)當\(|z|=1\)，則稱為可逆的\({\rm ARMA}(p,q)\)模型。

有理譜密度：形如

\[f(\lambda)=\frac{\sigma^2}{2\pi}\left|\frac{B(e^{{\rm i}\lambda})}{A(e^{{\rm i}\lambda})} \right|^2 \]

的譜密度稱為有理譜密度。

白噪聲的\(\chi^2\)檢驗：作原假設\(H_0:\{X_t\}\)是獨立白噪聲，對立假設\(H_1:\{X_t\}\)是相關序列。先於樣本，計算自相關系數，取\(m\le\sqrt{N}\)，構造檢驗統計量

\[\hat \rho_k=\frac{\sum_{t=1}^{N-k}(x_t-\bar x_N)(x_{t+k}-\bar x_N)}{\sum_{t=1}^{N-k}(x_t-\bar x_N)^2},\\ \hat\chi^2(m)\xlongequal{def}N(\hat\rho_1^2+\hat\rho_2^2+\cdots+\hat\rho_m^2), \]

由於在原假設下\(\hat\chi^2(m)\)近似服從\(\chi^2(m)\)分布，所以當\(\hat\chi^2(m)>\chi^2_m(\alpha)\)時拒絕原假設，否則接受\(\{X_t\}\)是白噪聲的假設。

---

Part 2：時間序列的預報

最佳線性預測：設\(Y\)和\(X_j(1\le j\le n)\)是均值為零，方差有限的隨機變量，如果\(\boldsymbol a\in\mathbb{R}^n\)，使得對任何的\(\boldsymbol{b}\in\mathbb{R}^n\)，有

\[\mathbb{E}(Y-\boldsymbol a'\boldsymbol X)^2\le \mathbb{E}(Y-\boldsymbol b'\boldsymbol X)^2, \]

就稱\(\boldsymbol a'\boldsymbol X\)是用\(X_1,X_2,\cdots,X_n\)對\(Y\)進行預測的最佳線性預測。記作\(L(Y|\boldsymbol X)\)。

如果\(\mathbb{E}(Y)=b\)，\(\mathbb{E}(\boldsymbol X)=\boldsymbol \mu\)，則用\(X_1,\cdots,X_n\)對\(Y\)進行預測時的最佳線性預測是

\[L(Y|\boldsymbol X)=L(Y-b|\boldsymbol X-\boldsymbol \mu)+b. \]

決定性平穩序列：設\(\{X_n\}\)是零均值平穩序列，記\(\boldsymbol X_{n,m}=(X_n,X_{n-1},\cdots,X_{n-m+1})\)，定義

\[\hat X_{n+1,m}=L(X_{n+1}|\boldsymbol X_{n,m}),\\ \sigma_{1,m}^2=\mathbb{E}(X_{n+1}-\hat X_{n+1,m})^2 ,\\ \sigma_1^2=\lim_{m\to \infty}\sigma_{1,m}^2, \]

如果\(\sigma_1^2=0\)，則稱\(\{X_t\}\)是決定性平穩序列。否則稱\(\{X_t\}\)是非決定性平穩序列，\(\sigma_1^2\)是一步預測的均方誤差。

純非決定性平穩序列：設\(\{X_n\}\)是非決定性的平穩序列，記\(\boldsymbol X_{n,m}=(X_n,X_{n-1},\cdots,X_{n-m+1})\)，定義

\[\hat X_{n+k,m}=L(X_{n+k}|\boldsymbol X_{n,m})\\ \sigma_{k,m}^2=\mathbb{E}(X_{n+k}-\hat X_{n+k,m})^2\\ \sigma_k^2=\lim_{m\to \infty}\sigma_{k,m}^2, \]

如果\(\lim\limits_{k\to \infty}\sigma_k^2=\gamma_0\)，就稱\(\{X_t\}\)是純非決定性平穩序列。

Wold表示定理：任一非決定性的零均值平穩序列\(\{X_t\}\)可以表示成

\[X_t=\sum_{j=0}^{\infty}a_j\varepsilon_{t-j}+V_t=U_t+V_t,\quad t\in\mathbb{Z}. \]

其中\(\{\varepsilon_t\}\)是零均值白噪聲，\(\{U_t\}\)是和\(\{V_t\}\)正交的平穩序列，\(\{V_t\}\)是決定性平穩序列。稱一步預測誤差\(\varepsilon_t\)為\(\{X_t\}\)的（線性）新息序列，\(\{a_j\}\)是\(\{X_t\}\)的Wold系數，\(\sigma^2=\mathbb{E}(\varepsilon_t^2)\)為一步預測的均方誤差。

樣本新息：在有限歷史的時間序列\(\{X_t\}\)中，定義\(\boldsymbol X_{n}=(X_n,X_{n-1},\cdots,X_1)\)，稱

\[Z_n=X_n-L(X_n|\boldsymbol{X}_{n-1}),\quad n\in\mathbb{Z} \]

為樣本新息。

---

Part 3：ARMA模型的參數估計

AR(p)模型的Yule-Walker估計：先計算樣本自協方差函數

\[\hat\gamma_k=\frac{1}{N}\sum_{t=1}^{N-k}(x_t-\bar x_N)(x_{t+k}-\bar x_N), \]

再由樣本Yule-Walker方程計算矩估計：

\[\hat{\boldsymbol \gamma}_p=\hat{\Gamma}_p\hat{\boldsymbol a}_p,\quad \hat\sigma^2=\hat\gamma_0-\hat{\boldsymbol \gamma}_p'\hat{\boldsymbol a}_p. \]

AR(p)模型的最小二乘估計：對觀測數據\(x_t\)零均值化，得到\(y_t=x_t-\bar x_N\)。將\(\hat d_1,\cdots,\hat d_p\)作為\(a_1,\cdots,a_p\)的最小二乘估計，如果它使得殘差平方和

\[S(d_1,\cdots,d_p)=\sum_{j=p+1}^N[y_t-(d_1y_{t-1}+d_2y_{t-2}+\cdots+d_py_{t-p})]^2 \]

達到最小，另外，白噪聲方差\(\sigma^2\)的最小二乘估計是

\[\hat\sigma^2=\frac{1}{N-p}S(\hat d_1,\cdots,\hat d_p). \]

AR(p)模型的最大似然估計：對觀測數據\(x_t\)進行零均值化得到\(y_t\)。設\({\rm AR}(p)\)模型的白噪聲\(\varepsilon_t=A(\mathscr B)X_t\)服從正態分布，則似然函數為

\[L(\boldsymbol a,\sigma)=\left(\frac{1}{2\pi\sigma^2} \right)^{\frac{N-p}{2}}\exp\left[-\frac{1}{2\sigma^2}\sum_{t=p+1}^N\left(y_t-\sum_{j=1}^pa_jy_{t-j} \right)^2 \right] \]

使似然函數達到最大的\(\hat{\boldsymbol a}_p\)和\(\hat\sigma^2\)為\(\boldsymbol a_p\)和\(\sigma^2\)的極大似然估計。

MA(q)模型的矩估計：通過樣本\(x_t\)計算自協方差函數\(\hat \gamma_k\)，解矩估計方程組：

\[\hat \gamma_k=\sigma^2\sum_{j=0}^kb_jb_{j+k},\quad 0\le k\le q \]

得到的滿足可逆條件的解\(\hat{\boldsymbol b}_q\)和對應的\(\hat\sigma^2\)稱為\({\rm MA}(q)\)模型的矩估計。

MA(q)模型的逆相關函數估計：先利用\(\{x_t\}\)的樣本自協方差函數\(\hat\gamma_k\)建立一個\({\rm AR}(p_N)\)模型，這里\(p_N\)可以是\({\rm AR}\)模型的AIC定階。然后對\(p\xlongequal{def}p_N\)，解樣本Yule-Walker方程，得到樣本Yule-Walker系數

\[(\hat a_{p,1},\cdots,\hat a_{p,p}),\quad \hat\sigma_p^2. \]

基於此，計算樣本逆相關函數

\[\hat\gamma_y(k)=\frac{1}{\hat\sigma_p^2}\sum_{j=0}^{p-k}\hat a_{p,j}\hat a_{p,j+k},\quad k=0,1,\cdots,q,\quad \hat a_{p,0}=-1. \]

這是逆譜密度對應的\({\rm MA}(p)\)序列的自協方差函數，再將其視為\({\rm AR}(q)\)序列，利用樣本Yule-Walker方程解出模型系數

\[\hat{\boldsymbol b}_q=(\hat b_1,\cdots,\hat b_q),\quad \hat \sigma^2. \]

MA(q)序列的新息估計：給定觀測數據\(x_1,\cdots,x_N\)，取\(m=o(N^{1/3})\)，計算樣本自協方差函數\(\hat\gamma_0,\cdots,\hat\gamma_1\)，\(\boldsymbol b\)和\(\sigma^2\)的新息估計由下面的遞推公式得到：

\[\boldsymbol {b}=(\hat b_1,\cdots,\hat b_q),\quad \hat\sigma^2=\hat\nu_m. \\ \hat\nu_0=\gamma_0,\\ \hat\theta_{n,n-k}=\hat\nu_k^{-1}\left[\hat\gamma_{n-k}-\sum_{j=0}^{k-1}\hat\theta_{k,k-j}\hat\theta_{n,n-j}\hat\nu_j \right],\quad 0\le k\le n-1,\\ \hat\nu_n=\hat\gamma_0-\sum_{j=0}^{n-1}\hat\theta_{n,n-j}^2\hat\nu_j,\quad 1\le n\le m. \]

AIC定階：如果根據問題的背景或數據的特性能夠判定\({\rm MA}(q)\)模型階數\(q\)的上階是\(Q_0\)，則對於\(m=0,1,2,\cdots,Q_0\)，按照一定的估計方法逐個擬合\({\rm MA}(m)\)模型，記白噪聲方差的估計量為\(\hat\sigma^2_m\)。定義AIC函數為

\[{\rm AIC}(m)=\ln(\hat\sigma_m^2)+\frac{2m}{N},\quad m=0,1,\cdots,Q_0, \]

這里\(N\)是樣本個數，\({\rm AIC}(m)\)的最小值點\(\hat q\)（如不唯一，應取小的）稱為\({\rm MA}(q)\)模型的AIC定階。

BIC定階：如果根據問題的背景或數據的特性能夠判定\({\rm AR}(p)\)模型階數\(p\)的上界是\(P_0\)，則對於\(k=0,1,\cdots,P_0\)，按照一定的估計方法逐個擬合\({\rm AR}(k)\)模型，記白噪聲方差的估計為\(\hat\sigma_k^2\)。定義BIC函數為

\[{\rm BIC}(k)=\ln(\hat\sigma^2_k)+\frac{k\ln N}{N} \]

這里\(N\)是樣本個數，\({\rm BIC}(k)\)的最小值點\(\hat p\)（如不唯一，應取小的）稱為\({\rm AR}(p)\)模型的BIC定階。

聲明：以上兩種定階方法適用於三種模型中的任意一種，這里只是使用AR和MA作為示范。

ARMA(p, q)模型的矩估計方法：根據觀測值計算樣本自協方差函數\(\hat\gamma_0,\cdots,\hat\gamma_{k}\)，代入到延拓的Yule-Walker方程解出AR部分的系數\(\hat{\boldsymbol a}_p\)。此時

\[z_t=x_t-\sum_{j=1}^p\hat a_jx_{t-j},\quad t=p+1,p+2,\cdots,N \]

是一個\({\rm MA}(q)\)序列的近似觀測數據，使用MA序列的參數估計方法就可以估計出\({\rm MA}(q)\)部分的\(\boldsymbol b_q\)和\(\sigma^2\)。

ARMA(p, q)模型的自回歸逼近法：取自回歸階數的上界\(P_0=[\sqrt{N}]\)，采用\({\rm AIC}\)定階方法得到AR模型的階數估計\(\hat p\)，以及自回歸系數的估計\((\hat a_1,\cdots,\hat a_p)\)，計算殘差

\[\hat\varepsilon_t=x_t-\sum_{j=1}^p\hat a_jx_{t-j},\quad t=\hat p+1,\hat p+2,\cdots,N, \]

然后寫出近似的\({\rm ARMA}(p,q)\)模型：

\[x_t=\sum_{j=1}^p a_jx_{t-j}+\hat\varepsilon_t+\sum_{j=1}^qb_j\hat\varepsilon_{t-j},\quad t=L+1,\cdots,N, \]

這里\(L=\max(\hat p,p,q)\)，\(a_j\)、\(b_k\)是待估參數，對目標函數

\[Q(\boldsymbol{a},\boldsymbol{b})=\sum_{t=L+1}^N\left(x_t-\sum_{j=1}^pa_jx_{t-j}-\sum_{j=1}^q b_j\hat\varepsilon_{t-j} \right)^2 \]

極小化，得到最小二乘估計\((\hat a_1,\cdots,\hat a_p,\hat b_1,\cdots,\hat b_q)\)，並得到其最小二乘估計量為

\[\hat\sigma^2=\frac{1}{N-L}Q(\hat{\boldsymbol a},\hat{\boldsymbol b}). \]

ARMA(p, q)模型的極大似然估計：由逐步預報公式得到，\(m=\max(p,q)\)時

\[\hat X_{k+1}=\left\{\begin{array}l \sum_{j=1}^k\theta_{k,j}Z_{k+1-j}.&1\le k\le m; \\ \sum_{j=1}^p a_jX_{k+1-j}+\sum_{j=1}^q\theta_{k,j}Z_{k+1-j},&k>m. \end{array}\right. \]

定義樣本新息為\(Z_k=X_k-\hat X_k\)，預測誤差為\(r_{k-1}=\sigma^2\nu_{k-1}\)，這里遞推預測系數\(\theta_{k,j}\)和預測誤差項\(\nu_k\)都是與\(\sigma^2\)無關的量，由模型參數\(\boldsymbol\beta=(\boldsymbol a_p',\boldsymbol b_q')'\)唯一確定。極大似然函數為

\[\begin{aligned} L(\boldsymbol \beta,\sigma^2)&=\frac{1}{(2\pi)^{n/2}(r_0r_1\cdots r_{n-1})^{1/2}}\exp\left(-\frac{1}{2}\sum_{j=1}^nZ_j^2/r_{j-1} \right)\\ &=\frac{1}{(2\pi)^{N-2}(\sigma^{2N}\nu_0\nu_1\cdots\nu_{n-1})^{1/2}}\exp\left(-\frac{1}{2\sigma^2}\sum_{k=1}^N\frac{Z_k^2}{\nu_{k-1}} \right), \end{aligned} \]

使極大似然函數取最大值的\(\hat{\boldsymbol \beta}\)和\(\hat \sigma^2\)即為\({\rm ARMA}(p,q)\)的極大似然估計。

約化似然函數：在ARMA模型的極大似然函數中，定義

\[S(\boldsymbol\beta)=\sum_{k=1}^{N}\frac{Z_{k}^2}{\nu_{k-1}},\quad \sigma^2=\frac{1}{N}S(\boldsymbol \beta). \]

將\(\sigma^2\)代入極大似然函數得到的

\[l(\boldsymbol\beta)\xlongequal{def}\frac{1}{N}\ln(\nu_0\nu_1\cdots\nu_{N-1})+\ln\left(\frac{S(\boldsymbol \beta)}{N} \right) \]

稱為約化似然函數。