本文分為兩個部分：三大模型五個具體分支的計算問題，重點證明。如果有時間，后續會出一個名詞解釋專題。
觀前提示：本文系作者獨立完成，審閱不足，如有發現錯誤，歡迎在評論區指正。
Part 1：具體模型計算
Part 1：AR(1)模型
穩定性條件
滿足\({\rm AR}(1)\)模型的平穩序列被稱為\({\rm AR(1)}\)序列，\({\rm AR}(1)\)模型的基本結構是
\[X_t=aX_{t-1}+\varepsilon_t,\quad |a|<1,\quad \{\varepsilon_t\}\sim {\rm WN}(0,\sigma^2). \]
它有唯一平穩解。如果\(|a|>1\)，則此模型不是\({\rm AR}(1)\)模型，參加以下兩圖。
\({\rm AR}(1)\)序列的自協方差函數是其最顯著性質，注意只有穩定性條件滿足時，\(X_t\)才與\(\varepsilon_{t+k}\)無關（\(k>0\)）。
\[\gamma_0=\frac{\sigma^2}{1-a^2}>\sigma^2,\\ \gamma_k=a^k\gamma_0\to 0,\quad k\ge 1,\\ a=\frac{\gamma_1}{\gamma_0}. \]
證明：
對於\(\gamma_0\)，有
\[\begin{aligned} \gamma_0=&\mathbb{E}(X_t^2)\\ =&\mathbb{E}[(aX_{t-1}+\varepsilon_t)^2]\\ =&a^2\mathbb{E}(X_{t-1}^2)+\mathbb{E}(\varepsilon_t^2)\\ =&a^2\gamma_0+\sigma^2, \end{aligned} \]
故
\[\gamma_0=\frac{\sigma^2}{1-a^2}>\sigma^2. \]
對於\(k\ge 1\)時的\(\gamma_k\)，有
\[\gamma_k=\mathbb{E}(X_tX_{t-k})=\mathbb{E}[(aX_{t-1}+\varepsilon_t)X_{t-k}]=a\gamma_{k-1}. \]
由數學歸納法，有
\[\gamma_k=a^k\gamma_0\to 0. \]
\({\rm AR}(1)\)序列的譜密度：
\[\begin{aligned} f(\lambda)=&\frac{\sigma^2}{2\pi|1-ae^{{\rm i}\lambda}|^2} \\ =&\frac{\sigma^2}{2\pi|1-a\cos\lambda-{\rm i}a\sin\lambda|^2}\\ =&\frac{\sigma^2}{2\pi(1-2a\cos\lambda+a^2)}. \end{aligned} \]
偏相關系數截尾
遞推\({\rm AR}(1)\)序列的偏相關系數：
\[a_{1,1}\ne0,\quad a_{k,k}=0,\quad \forall k>1. \]
當\(k=1\)時，由Yule-Walker方程，
\[\gamma_0a_{1,1}=\gamma_1, \]
得到\(a_{1,1}=\gamma_1/\gamma_0=a\ne 0\)。
由Yule-Walker方程，
\[\begin{bmatrix} 1 & a & \cdots & a^{n-1} \\ a & 1 & \cdots & a^{n-2} \\ \vdots & \vdots & & \vdots \\ a^{n-1} & a^{n-2} & \cdots & 1 \end{bmatrix}\begin{bmatrix} a_{n,1} \\ a_{n,2} \\ \vdots \\ a_{n,n} \end{bmatrix}=\begin{bmatrix} a \\ a^2 \\ \vdots \\ a^{n} \end{bmatrix}=a\begin{bmatrix} 1 \\ a \\ \vdots \\ a^{n-1} \end{bmatrix}. \]
注意到右端向量與左端系數矩陣第一列相同，由Cramer法則，有\(a_{n,2}=\cdots=a_{n,n}=0\)，而\(a_{n,1}=\det(\Gamma_n)/\det(\Gamma_n)=1\)，結論得證。
Part 2：AR(2)模型
穩定性條件
滿足\({\rm AR}(2)\)模型的平穩序列稱為\({\rm AR}(2)\)序列，\({\rm AR}(2)\)模型形如
\[X_t=a_1X_{t-1}+a_2X_{t-2}+\varepsilon_t. \]
其中，特征方程\(A(z)=1-a_1z-a_2z^2\)在\(|z|\le 1\)內沒有根。
\({\rm AR}(2)\)模型的穩定域\(\mathscr A\)為
\[\mathscr A=\{(a_1,a_2)|a_2\pm a_1<1,|a_2|<1 \}. \]
即找到\(f(z)=a_2z^2+a_1z-1\)在\(|z|\le 1\)內沒有根的條件，注意到\(f(0)=-1\)。
-
如果拋物線開口朝上，則\(a_2>0\)，由零點存在定理，只需
\[f(1)=a_2+a_1-1<0,\\ f(-1)=a_2-a_1-1<0. \]
即：
\[a_2>0\text{ & }a_2\pm a_1<1. \]
-
如果拋物線開口朝下，則\(a_2<0\)，對稱軸符號與\(a_1\)的一致，先討論方程組無實根的情況，此時\(\Delta=a_1^2+4a_2<0\)，兩個復根是
\[z=\frac{-a_1\pm{\rm i}\sqrt{-a_1^2-4a_2}}{2a_2}, \]
要使其模長\(|z|>1\)，有
\[\frac{a_1^2-a_1^2-4a_2}{4a_2^2}=-\frac{1}{a_2}>1. \]
所以\(a_2>-1\)，即：
\[-1<a_2<0. \]
-
最后考慮\(a_2<0\)且\(\Delta>0\)的情況，對對稱軸分情況討論。
-
如果\(a_1>0\)，則對稱軸是正數，所以要滿足\(f(1)<0\)，對稱軸\(>1\)，即
\[a_2+a_1<1\text{ & }a_1>-2a_2. \]
-
如果\(a_1<0\)，則對稱軸是負數，所以要滿足\(f(-1)<0\)，對稱軸\(<-1\)，即
\[a_2-a_1<1\text{ & }a_1<2a_2. \]
綜合以上條件，要使得\(A(z)\)的根都在單位圓外，必須有\(a_2\pm a_1<1\)且\(|a_2|<1\)，圖示如下：
這里，黃色部分對應1中的討論，藍色部分對應2中的討論，紅色和綠色部分對應3中的討論。有幾下幾點需要注意：
- 如果\(a_1,a_2\)位於藍色部分，則此時的根是虛根（結合討論可以看出）。
- 證明過程的討論是在有實根時，對四個象限分別討論，無實根時單獨討論。
- 對於復根部分要額外注意，需要滿足復根也在單位圓外（容易被忽視），否則得到的穩定域會多出\(\mathbb{R}\)上拋物線下方的部分。
- 這里沒有對\(a_1=0\)或\(a_2=0\)的情況作討論，其討論難度小，所以不作說明。
自相關函數與允許域
\({\rm AR}(2)\)序列的自協方差函數當\(k\ge2\)時也滿足特征多項式差分方程，即
對於\(k=0,1\)，有
\[\begin{aligned} \gamma_0=&\mathbb{E}(X_t^2)\\ =&\mathbb{E}[(a_1X_{t-1}+a_2X_{t-2}+\varepsilon_t)^2]\\ =&\mathbb{E}(a_1^2X_{t-1}^2+a_2^2X_{t-2}^2+\varepsilon_t^2+2a_1a_2X_{t-1}X_{t-2})\\ =&(a_1^2+a_2^2)\gamma_0+\sigma^2+2a_1a_2\gamma_1,\\ \gamma_1=&\mathbb{E}(X_tX_{t-1})\\ =&\mathbb{E}[(a_1X_{t-1}+a_2X_{t-2}+\varepsilon_t)X_{t-1}]\\ =&a_1\gamma_0+a_2\gamma_1, \end{aligned} \]
所以
\[\gamma_1=\frac{a_1}{1-a_2}\gamma_0,\\ \gamma_0=\frac{\sigma^2}{1-a_2^2-a_1^2(1-\frac{2a_2}{1-a_2})}. \]
對於\(k\ge 2\)，有
\[\begin{aligned} \gamma_k=&\mathbb{E}[X_{t-k}X_t]\\ =&\mathbb{E}[X_{t-k}(a_1X_{t-1}+a_2X_{t-2}+\varepsilon_t)]\\ =&a_1\gamma_{k-1}+a_2\gamma_{k-2}. \end{aligned} \]
注意到\(\gamma_0\)求解不易，所以考慮\({\rm AR}(2)\)序列的自相關函數，有
\[\rho_1=\frac{a_1}{1-a_2},\rho_2=\frac{a_1^2}{1-a_2}+a_2, \\ \rho_k=a_1\rho_{k-1}+a_2\rho_{k-2},\quad \forall k\ge 2. \]
\({\rm AR}(2)\)序列的允許域：\((\rho_1,\rho_2)\)可以由\((a_1,a_2)\)表示，根據\((a_1,a_2)\)的范圍可以推出\((\rho_1,\rho_2)\)的范圍，即允許域，但這不是一個線性變換。
\[\mathscr{C}=\{(\rho_1,\rho_2)|\rho_1^2<(1+\rho_2)/2,|\rho_1|<1,|\rho_2|<1\}. \]
由自協方差函數的有界性，有\(|\rho_1|<1\)，\(|\rho_2|<1\)。而
\[\rho_1=\frac{a_1}{1-a_2},\\ \rho_2=\frac{a_1^2}{1-a_2}+a_2, \]
得
\[a_1=\frac{\rho_1(1-\rho_2)}{1-\rho_1^2},\\ a_2=\frac{\rho_2-\rho_1^2}{1-\rho_1^2}. \]
所以由\(a_2-a_1<1\)有
\[\frac{\rho_2-\rho_1^2-\rho_1(1-\rho_2)}{1-\rho_1^2}<1\Rightarrow \rho_2<1, \]
由\(a_2+a_1<1\)有
\[\frac{\rho_2-\rho_1^2+\rho_1-\rho_1\rho_2}{1-\rho_1^2}<1\Rightarrow \rho_2<1, \]
由\(a_2<1\)有
\[\rho_2-\rho_1^2<1-\rho_1^2\Rightarrow \rho_2<1, \]
由\(a_2>-1\)有
\[\rho_2-\rho_1^2>\rho_1^2-1\Rightarrow \rho_1^2<\frac{1+\rho_2}{2}<1. \]
完成此處的證明關鍵在於找到\(a_1,a_2\)與\(\rho_1,\rho_2\)相互表達的式子，這可以由Yule-Walker方程得到，即
\[\begin{bmatrix} 1 & \rho_1 \\ \rho_1 & 1 \end{bmatrix}\begin{bmatrix} a_1 \\ a_2 \end{bmatrix}=\begin{bmatrix} \rho_1 \\ \rho_2 \end{bmatrix},\\ \begin{bmatrix} a_1 \\ a_2 \end{bmatrix}=\frac{1}{1-\rho_1^2} \begin{bmatrix} 1 & -\rho_1 \\ -\rho_1 & 1 \end{bmatrix}\begin{bmatrix} \rho_1 \\ \rho_2 \end{bmatrix}=\begin{bmatrix} \frac{\rho_1-\rho_1\rho_2}{1-\rho_1^2} \\ \frac{\rho_2-\rho_1^2}{1-\rho_1^2} \end{bmatrix}. \]
實根不相等時的自相關函數通項
如果\(A(z)=1-a_1z-a_2z^2\)有兩個不等實根，則\(f(\lambda)=\lambda^2-a_1\lambda-a_2\)有兩個不等實根\(\lambda_1,\lambda_2\)，且
\[\lambda_1=\frac{1}{z_1},\quad \lambda_2=\frac{1}{z_2}. \\ |\lambda_1|<1,\quad |\lambda_2|<1. \]
由於自相關函數滿足
\[\rho_k=a_1\rho_{k-1}+a_2\rho_{k-2},\quad \forall k\ge2, \]
所以由常系數齊次線性差分方程的求解，有
\[\rho_k=c_1\lambda_1^k+c_2\lambda_2^k, \]
代入\(\rho_0,\rho_1\)的值，有
\[c_1+c_2=\rho_0=1,\\ c_1\lambda_1+c_2\lambda_2=\rho_1, \]
從中可以解得
\[c_1=\frac{\lambda_2-\rho_1}{\lambda_2-\lambda_1},\quad c_2=\frac{\rho_1-\lambda_1}{\lambda_2-\lambda_1}. \]
由韋達定理，代入得
\[\rho_1=\frac{a_1}{1-a_2}=\frac{\lambda_1+\lambda_2}{1+\lambda_1\lambda_2},\\ c_1=\frac{\lambda_1(1-\lambda_2^2)}{(\lambda_1-\lambda_2)(1+\lambda_1\lambda_2)},\quad c_2=\frac{\lambda_2(1-\lambda_1^2)}{(\lambda_2-\lambda_1)(1+\lambda_1\lambda_2)}, \]
所以
\[\rho_k=c_1\lambda_1^k+c_2\lambda_2^k=\frac{(1-\lambda_2^2)\lambda_1^{k+1}-(1-\lambda_1^2)\lambda_2^{k+1}}{(\lambda_1-\lambda_2)(1+\lambda_1\lambda_2)},\quad k\ge0. \]
偏相關系數截尾
正向證明：由Yule Walker方程，只要證明以下三個向量線性相關：
\[\boldsymbol{v}_1=(1,\rho_1,\cdots,\rho_{n-1}),\\ \boldsymbol{v}_2=(\rho_1,1,\rho_1,\cdots,\rho_{n-2}),\\ \boldsymbol{v}_n=(\rho_1,\rho_2,\cdots,\rho_n). \]
也只要證明以下等式成立：
\[\boldsymbol {v}_n=a_1\boldsymbol v_1+a_2\boldsymbol v_2. \]
由自相關函數的遞推式，后\(n-1\)項都是顯然的，而
\[\rho_1=\frac{a_1}{1-a_2}\Rightarrow \rho_1=a_1+a_2\rho_1, \]
所以這就證明了以上三個向量線性相關，即\(\forall n\)與\(m>2\)，有\(a_{n,m}=0\)。由此表達式，也有
\[a_{n,1}=a_1,\quad a_{n,2}=a_2. \]
遞推預測
顯然\(\hat X_1=0\)，\(\hat X_2=L(X_2|X_1)=\rho_1 X_1=\frac{a_1}{1-a_2}X_1\)。
對於\(n\ge 3\)，由預測方程可以算出
\[\hat X_{n}=a_1X_{n-1}+a_2X_{n-2}, \]
這是因為Yule-Walker方程給出的形式與預測方程一致。
Part 3：MA(1)模型
基本信息
滿足\({\rm MA}(1)\)模型的平穩序列稱為\({\rm MA}(1)\)序列，其基本形式是
\[X_t=\varepsilon_t+b\varepsilon_{t-1},\quad \{\varepsilon_t\}\sim{\rm WN}(0,\sigma^2), \quad |b|\le 1. \]
其自協方差函數是\(1\)后截尾的：
\[\gamma_0=(1+b^2)\sigma^2,\quad \gamma_1=b\sigma^2,\\ \rho_1=\frac{b}{1+b^2}<1. \]
由於\(|b|\le 1\)，所以在\([-1,1]\)內，
\[\frac{{\rm d}\rho_1}{{\rm d}b}=\frac{1-b^2}{(1+b^2)^2}>0, \]
即\(\rho_1\)隨\(b\)變化是單調的，所以
\[\rho_1\in\left[-\frac12,\frac12\right]. \]
譜密度：
\[f(\lambda)=\frac{1}{2\pi}\sum_{j=-1}^1\gamma_k e^{-{\rm i}j\lambda}=\frac{\sigma^2}{2\pi}(2b\cos \lambda+1+b^2). \]
注意：以下序列也是\({\rm MA}(1)\)序列，因為其自協方差函數1后截尾，但是模型系數並非現在的系數：
\[X_t=\epsilon_t+3\epsilon_{t-1},\quad \epsilon\sim {\rm WN}(0,\sigma^2) \]
計算其譜密度，有
\[\begin{aligned} f(\lambda)=&\frac{\sigma^2}{2\pi}\left|1+3e^{{\rm i}\lambda} \right|^2\\ =&\frac{\sigma^2}{2\pi}(1+3^2+6\cos \lambda)\\ =&\frac{9\sigma^2}{2\pi}\left(1+\frac{2}{3}\cos \lambda+\frac{1}{9} \right)\\ =&\frac{9\sigma^2}{2\pi}\left|1+\frac{1}{3}e^{{\rm i}\lambda} \right|^2 \end{aligned} \]
所以它滿足的\({\rm MA(1)}\)模型是
\[X_t=\varepsilon_t+\frac{1}{3}\varepsilon_{t-1},\quad \varepsilon_t\sim {\rm WN}(0,3\sigma). \]
這里\(\varepsilon_t\)並非與\(\epsilon_t\)獨立的白噪聲，而是通過以下方式構造的：
\[\varepsilon_t=(1+\frac{1}{3}\mathscr B)^{-1}X_t=\sum_{j=0}^\infty \frac{1}{(-3)^j}X_{t-j}. \]
這樣就有
\[\begin{aligned} \varepsilon_t+\frac13\varepsilon_{t-1}=&\sum_{j=0}^\infty\frac{1}{(-3)^j}X_{t-j}+\frac{1}3\sum_{j=0}^\infty\frac{1}{(-3)^j}X_{t-j-1}\\ =&\sum_{j=0}^\infty\frac{1}{(-3)^j}X_{t-j}+\sum_{j=1}^\infty\frac{1}{-(-3)^j}X_{t-j} \\ =&X_t. \end{aligned} \]
同時
\[f_\varepsilon(\lambda)=\left|\frac{1}{1+\frac13e^{{\rm i}\lambda}}\right|^2f(\lambda)=\frac{9\sigma^2}{2\pi}\left|\frac{1+\frac{1}{3}e^{{\rm i}\lambda}}{1+\frac13e^{{\rm i}\lambda}} \right|^2=\frac{9\sigma^2}{2\pi}, \]
譜密度是常數就說明了\(\varepsilon_t\)是白噪聲。
偏相關系數不截尾
\({\rm MA}(1)\)的偏相關系數滿足：
\[a_{k,k}=-(-b)^k(1-b^2)(1-b^{2k+2})^{-1}. \]
由於\(\rho_1=\frac{b}{1+b^2}\xlongequal{d}\rho\)，對\(k>1\)有\(\rho_k=0\)，由Yule Walker方程，有
\[\begin{bmatrix} 1 & \rho & 0 & \cdots & 0 \\ \rho & 1 & \rho & \cdots & 0 \\ 0 & \rho & 1 & \cdots & 0 \\ \vdots & \vdots & \vdots & & \vdots \\ 0 & 0 & 0 & \cdots &1 \end{bmatrix}\begin{bmatrix} a_{n,1} \\ a_{n,2} \\ a_{n,3} \\ \vdots \\ a_{n,n} \end{bmatrix}=\begin{bmatrix} \rho \\ 0 \\ 0 \\ \vdots \\ 0 \end{bmatrix}. \]
記\(n\)階系數矩陣的行列式為\(D_n\)，則顯然有
\[D_n=D_{n-1}-\rho^2D_{n-2}, \]
構成一個常系數線性差分方程，特征方程是
\[z^2-z+\rho^2=0, \]
其特征根是
\[z_1=\frac{1+\sqrt{1-4\rho^2}}{2},\quad z_2=\frac{1-\sqrt{1-4\rho^2}}{2}, \]
所以通解為
\[D_n^*=c_1z_1^n+c_2z_2^n, \]
又因為\(D_1=1,D_2=1-\rho^2\)，所以
\[D_n=\frac{z_1^{n+1}-z_2^{n+1}}{z_1-z_2}. \]
由Cramer法則，
\[a_{n,n}=\frac{-(-1)^n\rho^n}{D_n}. \]
這就證明了偏相關系數不截尾，因為\(b \ne 0\)即\(\rho=0\)。
事實上，
\[|D_n|=\frac{1+b^2+\cdots+b^{2n}}{(1+b^2)^n}=\frac{1-b^{2n+2}}{(1+b^2)^n(1-b^2)}, \]
對\(D_1,D_2\)顯然，此后
\[\begin{aligned} D_{n-1}-\rho^2D_{n-2}=&\frac{1-b^{2n}}{(1+b^2)^{n-1}(1-b^2)}-\frac{b^2(1-b^{2n-2})}{(1+b^2)^n(1-b^2)}\\ =&\frac{1+b^2-b^{2n}-b^{2n+2}-b^2+b^{2n}}{(1+b^2)^{n}(1-b^2)}\\ =&\frac{1-b^{2n+2}}{(1+b^2)^n(1-b^2)}. \end{aligned} \]
這就得到
\[a_{n,n}=\frac{-(-1)^nb^n(1-b^2)}{1-b^{2n+2}}. \]
遞推預測
對於\({\rm MA}(1)\)序列
\[X_t=\varepsilon_t+b\varepsilon_{t-1},\quad b\le 1. \]
其預測系數是\(q\)截尾的。
記\(\boldsymbol X_n=(X_1,\cdots,X_n)'\)，樣本信息序列為\(Z_i\)，\(\boldsymbol Z_n=(Z_1,\cdots,Z_n)'\)，則它們的張成空間相同（這一點可以由歸納法證明），所以
\[L(X_{n+1}|\boldsymbol X_n)=L(X_{n+1}|X_n,\cdots,X_{n-q+1})=\cdots=L(X_{n+1}|Z_n,\cdots,Z_{n-q+1}). \]
這說明只需要使用\(q\)個新息即可，故\(k\ge q\)時\(\theta_{n,k}=0\)。
並且：
\[\theta_{n,1}=b\sigma^2\nu_{n-1}^{-1}\\ \nu_0=(1+b^2)\sigma^2,\\ \nu_n=\sigma^2(1+b^2-b^2\sigma^2\nu_{n-1}^{-1}). \]
由於\(\hat X_{n+1}=\theta_{n,1}(X_n-\hat X_n)\)，兩邊同時乘以\((X_n-\hat X_{n})\)並取期望，有
\[\begin{aligned} &\mathbb{E}[\hat X_{n+1}(X_n-\hat X_{n})] \\ =&\mathbb{E}[X_{n+1}-(X_{n+1}-\hat X_{n+1})](X_n-\hat X_n) \\ =&\gamma_1 \\ =&\theta_{n,1}\mathbb{E}(X_n-\hat X_n)^2 \\ =&\theta_{n,1}\nu_{n-1}. \end{aligned} \]
所以
\[\theta_{n,1}=\frac{\gamma_1}{\mathbb{E}(X_n-\hat X_n)^2}=\frac{b\sigma^2}{\nu_{n-1}}. \]
結合均方誤差遞推公式：
\[\nu_n=\gamma_0-\theta_{n,1}^2\nu_{n-1}=(1+b^2)\sigma^2-\frac{b^2\sigma^4}{\nu_{n-1}}, \]
可以得到\(\theta_{n,1}\)的計算值。
以下給出一些\(\theta_{n,1}\)的計算值：
-
\(\theta_{1,1}\)：
\[\theta_{1,1}=\gamma^{-1}_0\gamma_1=\frac{b}{1+b^2}; \]
-
\(\nu_1\)：
\[\nu_1=\gamma_0-\theta_{1,1}^2\nu_0=\frac{1+b^2+b^4}{1+b^2}\sigma^2. \]
-
\(\theta_{2,1}\)：
\[\theta_{2,1}=\frac{b\sigma^2}{\nu_1}=\frac{b(1+b^2)}{1+b^2+b^4}; \]
-
\(\nu_2\)：
\[\nu_2=\gamma_0-\theta_{2,1}^2\nu_1=\frac{1+b^2+b^4+b^6}{1+b^2+b^4}\sigma^2. \]
-
令\(\mathcal B_n=1+b^2+\cdots+b^{2n}=\frac{1-b^{2n+2}}{1-b^2}\)，則
\[\theta_{n,1}=\frac{b\mathcal B_{n-1}}{\mathcal B_n},\quad \nu_n=\frac{\sigma^2\mathcal B_{n+1}}{\mathcal B_n}. \]
可以證明
\[\begin{aligned} \nu_n=&(1+b^2)\sigma^2-\frac{b^2\mathcal B_{n-1}^2}{\mathcal B_{n}^2}\cdot\frac{\sigma^2\mathcal B_n}{\mathcal B_{n-1}} \\ =&\sigma^2\left[1+b^2\left(1-\frac{\mathcal B_{n-1}}{\mathcal B_n}\right) \right]\\ =&\sigma^2\left[1+b^2\cdot\frac{b^{2n}}{\mathcal B_n} \right]\\ =&\sigma^2\frac{\mathcal B_{n+1}}{\mathcal B_n};\\ \theta_{n,1}=&\frac{b\sigma^2}{\nu_{n-1}}\\ =&\frac{b\mathcal B_{n-1}}{\mathcal B_n}. \end{aligned} \]
Part 4：MA(2)模型
基本信息與穩定性條件
滿足\({\rm MA}(2)\)模型的平穩序列稱為\({\rm MA}(2)\)序列，\({\rm MA}(2)\)模型即滿足
\[X_t=\varepsilon_t+b_1\varepsilon_{t-1}+b_2\varepsilon_{t-2}. \]
這里，特征多項式\(B(z)=1+b_1z+b_2z^2\)在\(|z|<1\)內無根，特別當它在單位圓上也無根時稱為可逆的。可逆域為
\[\mathscr I=\{(b_1,b_2):b_2\pm b_1>-1,|b_2|<1\}. \]
注意到\(B(0)=1\)，所以當開口向下即\(b_2<0\)時，一定有兩個根，並且對稱軸方向與\(b_1\)一致。
-
當\(b_2<0\)時，只需要\(B(1)>0\)且\(B(-1)>0\)，即
\[b_2<0\text{ & }b_2\pm b_1>-1. \]
-
當\(b_2>0\)時，先討論無實根的情況，此時\(\Delta=b_1^2-4b_2<0\)，兩個復根是
\[z_{1,2}=\frac{-b_1\pm{\rm i}\sqrt{4b_2-b_1^2}}{2b_2}, \]
其模長為
\[|z|^2=z_1z_2=\frac{1}{b_2}>1, \]
所以
\[0<b_2<1\text{ & }\Delta <0. \]
-
當\(b_2>0\)時，對稱軸方向與\(b_1\)不一致。如果有實根，則分兩種情況考慮：
-
\(b_1<0\)，即對稱軸大於0時，必有
\[-\frac{b_1}{2b_2}>1,\quad B(1)>0, \]
即
\[b_1<0\text{ & }b_2>0\text{ & }b_1+2b_2<0\text{ & }b_2+b_1>-1\text{ & }\Delta >0. \]
-
\(b_1>0\)，即對稱軸小於0時，必有
\[-\frac{b_1}{2b_2}<-1,\quad B(-1)>0, \]
即
\[b_1>0\text{ & }b_2>0\text{ & }b_1-2b_2>0\text{ & }b_2-b_1>-1\text{ & }\Delta >0. \]
綜合以上討論就得到了可逆域。
上圖中，綠色為第一部分，藍色為第二部分（即復根），黃色為第三部分。
基本數字特征：
\[\gamma_0=\sigma^2(1+b_1^2+b_2^2),\quad \gamma_1=\sigma^2(b_1+b_1b_2),\quad \gamma_2=\sigma^2b_2;\\ \rho_1=\frac{b_1+b_1b_2}{1+b_1^2+b_2^2},\quad \rho_2=\frac{b_2}{1+b_1^2+b_2^2},\\ \forall k>2,\quad \rho_k=\gamma_k=0. \]
譜密度：
\[f(\lambda)=\frac{\sigma^2}{2\pi}\left|1+b_1e^{{\rm i}\lambda}+b_2e^{2{\rm i}\lambda} \right|^2. \]
Part 5：ARMA(1, 1)模型
基本信息
模型特征：
\[X_t=aX_{t-1}+\varepsilon_t+b\varepsilon_{t-1}. \]
自協方差函數：
\[\gamma_0=\frac{\sigma^2(1+2ab+b^2)}{1-a^2},\quad \rho_1=\frac{(a+b)(ab+1)}{1+2ab+b^2},\\ \forall k\ge 2,\quad \rho_k=a\rho_{k-1}=\cdots=a^{k-1}\rho_1. \]
對於\(k=0\)，有
\[\begin{aligned} \mathbb{E}(X_t\varepsilon_t)=&\mathbb E[\varepsilon_t(aX_{t-1}+\varepsilon_t+b\varepsilon_{t-1})]\\ =&\sigma^2,\\ \gamma_0=&\mathbb{E}(X_t^2)=\mathbb{E}[(aX_{t-1}+\varepsilon_t+b\varepsilon_{t-1})^2]\\ =&a^2\gamma_0+(1+b^2+2ab)\sigma^2,\\ \gamma_0=&\frac{\sigma^2(1+2ab+b^2)}{1-a^2}. \end{aligned} \]
對於\(k=1\)，有
\[\begin{aligned} \gamma_1=&\mathbb{E}(X_tX_{t-1})=\mathbb{E}[(aX_{t-1}+\varepsilon_t+b\varepsilon_{t-1})X_{t-1}]\\ =&a\gamma_0+b\sigma^2, \\ \\ \rho_1=&\frac{\gamma_1}{\gamma_0}\\ =&a+\frac{b\sigma^2}{\gamma_0}\\ =&\frac{(a+b)(ab+1)}{1+2ab+b^2}. \end{aligned} \]
對於\(k\ge 2\)，有
\[\gamma_k=\mathbb{E}(X_tX_{t-k})=\mathbb{E}[(aX_{t-1}+\varepsilon_t+b\varepsilon_{t-1})X_{t-k}]=a\gamma_{k-1},\\ \rho_k=a\rho_{k-1}=\cdots=a^{k-1}\rho_1. \]
譜密度：
\[f(\lambda)=\frac{\sigma^2}{2\pi}\left|\frac{1+be^{{\rm i}\lambda}}{1-ae^{{\rm i}\lambda}} \right|^2. \]
此時的譜密度被稱為有理譜密度。
\({\rm ARMA}(1, 1)\)模型具有Wold表示：
\[X_t=\sum_{j=0}^\infty \psi_j\varepsilon_{t-j}. \]
Wold系數可以遞推計算：定義\(\forall j>q:b_j=0\)，則
\[\forall k<0:\psi_k=0,\quad \psi_0=1,\\ \forall k>0:\psi_k=b_k+\sum_{j=0}^pa_j\psi_{k-j}. \]
最佳線性預測
作以下變換：
\[Y_t=\left\{\begin{array}l X_t/\sigma,&t=1; \\ (X_t-aX_{t-1})/\sigma,& t>1. \end{array}\right. \]
\(Y_t\)的樣本新息與\(X_t\)的樣本新息只差一個\(\sigma\)。對\(t\le1\)，
\[\mathbb{E}(Y_1^2)=\frac{1}{\sigma^2}\mathbb{E}(X_t^2)=\frac{1+2ab+b^2}{1-a^2}, \]
對於\(t\ge 2\)，
\[\mathbb{E}(Y_t^2)=\frac{1}{\sigma^2}\mathbb{E}(\varepsilon_t+b\varepsilon_{t-1})^2=1+b^2, \]
對於\(s=2\)，\(t=1\)，
\[\mathbb{E}(Y_2Y_1)=\frac{1}{\sigma^2}\mathbb{E}[X_1(\varepsilon_2+b\varepsilon_1)]=b, \]
對於\(s-t=1\)，
\[\mathbb{E}(Y_{t+1}Y_t)=\frac1{\sigma^2}\mathbb{E}[(\varepsilon_{t+1}+b\varepsilon_{t})(\varepsilon_t+b\varepsilon_{t-1})]=b, \]
其他情況下
\[\mathbb{E}(Y_sY_t)=0. \]
顯然\(\hat Y_1=0\)，\(\hat Y_2=\theta_{1,1}Y_1\)，這里
\[\theta_{1,1}=\frac{\mathbb{E}(Y_1Y_2)}{\mathbb{E}(Y_1^2)}=\frac{(1-a^2)b}{1+2ab+b^2}. \]
由於從\(k=2\)開始\(\{Y_k\}\)是一個\({\rm MA}(1)\)序列，所以\(\hat Y_{n+1}=\theta_{n,1}Y_n\)，兩邊同時乘以\((Y_n-\hat Y_n)\)並取期望，得到
\[b=\theta_{n,j}\nu_{n-1},(\nu_{n-1}\xlongequal{def}\mathbb{E}(Y_n-\hat Y_n)^2),\\ \theta_{n,j}=\frac{b}{\nu_{n-1}},\\ \nu_n=(1+b^2)-\frac{b^2}{\nu_{n-1}}. \]
最后，從\(Y_t\)反推\(X_t\)的遞推，得到
\[\forall t > 2:\hat X_t=\sigma\hat Y_t+aX_{t-1}=\theta_{t-1,1}(X_{t-1}-\hat X_{t-1})+aX_{t-1}. \]
Part 2：重要定理證明
自協方差函數的正定性
譜密度：如果\(\{X_t\}\)的譜密度\(f(\lambda)\)存在，則對任何\(n\ge 1\)，\(\Gamma_n\)正定。
對任何\(n\)維實向量\(\boldsymbol{b}=(b_1,\cdots,b_n)'\)，關於\(\lambda\)的函數
\[\sum_{k=1}^n b_ke^{{\rm i}k\lambda} \]
最多只有\(n-1\)個零點（可以看成\(x=e^{{\rm i}\lambda}\)的一個關於\(x\)的多項式）。由於
\[\gamma_0=\int_{-\pi}^{\pi}f(\lambda){\rm d}\lambda>0, \]
所以
\[\begin{aligned} \boldsymbol{b}'\Gamma_{n}\boldsymbol b=&\sum_{j=1}^n\sum_{k=1}^n b_j\gamma_{j-k}b_k \\ =&\sum_{j=1}^n\sum_{k=1}^nb_jb_k\int_{-\pi}^\pi f(\lambda)e^{{\rm i}(k-j)\lambda}{\rm d}\lambda \\ =&\int_{-\pi}^{\pi}f(\lambda)\sum_{j=1}^n\sum_{k=1}^n b_jb_ke^{{\rm i}(k-j)\lambda}{\rm d}\lambda \\ =&\int_{-\pi}^{\pi}\left|\sum_{k=1}^n b_ke^{{\rm i}k\lambda} \right|^2f(\lambda){\rm d}\lambda\\ >&0. \end{aligned} \]
正定性得證。
自協方差函數收斂：如果\(\gamma_k\to 0(k\to \infty)\)，則對任何\(n\ge 1\)，\(\Gamma_n\)正定。
用反證法，如果\(|\Gamma_{n+1}|=0\)而\(|\Gamma_n|\ne 0\)，對零均值平穩序列\(\{X_t\}\)，定義
\[\boldsymbol{X}_n=(X_1,\cdots,X_n)', \]
對任何實向量\(\boldsymbol{b}=(b_1,\cdots,b_n)'\ne 0\)，有
\[\mathbb{E}(\boldsymbol{b}'\boldsymbol {X}_n)^2=\boldsymbol b'\Gamma_n\boldsymbol b>0. \]
同時存在另一組\(\boldsymbol{a}=(a_1,\cdots,a_n,a_{n+1})'\ne 0\)，使得
\[\mathbb{E}(\boldsymbol{a}'\boldsymbol{X}_{n+1})^2=\boldsymbol{a}'\Gamma_{n+1}\boldsymbol{a}=0. \]
這說明\(X_{n+1}\)可以被\(\boldsymbol{X}_n\)線性表示，由\(\{X_t\}\)的平穩性，\(\forall k\ge 1\)，\(X_{n+k}\)也能被\(\boldsymbol{X}=(X_n,\cdots, X_1)'\)線性表示，即存在一個\(\boldsymbol{\alpha}=(\alpha_1,\cdots,\alpha_n)'\)，使得
\[X_{n+k}=\boldsymbol \alpha'\boldsymbol{X}. \]
令\(0<\lambda_1\le \lambda_2\le \cdots\le\lambda_n\)為\(\Gamma_n\)的特征值，則存在正交矩陣\(T\)，使得
\[T\Gamma_nT'={\rm diag}(\lambda_1,\cdots,\lambda_n). \]
此時
\[\begin{aligned} \gamma_0=&\mathbb{E}(X_{n+k}^2)=\mathbb{E}(\boldsymbol{\alpha}'\boldsymbol{X})^2\\ =&\boldsymbol\alpha'\Gamma_n\boldsymbol \alpha\\ =&(T\boldsymbol \alpha)'T\Gamma_nT'(T\boldsymbol\alpha)\\ \ge&\lambda_1\|T\boldsymbol \alpha\|^2\\ =&\lambda_1\|\boldsymbol{\alpha}\|^2.\\ \|\alpha\|\le &\frac{\gamma_0}{\gamma_1}. \end{aligned} \]
另一方面，有
\[\begin{aligned} \gamma_0=&\mathbb{E}(\boldsymbol\alpha'\boldsymbol XX_{n+k})\\ =&\boldsymbol\alpha'\mathbb{E}(\boldsymbol XX_{n+k})\\ =&\boldsymbol\alpha'(\gamma_{k},\gamma_{k+1},\cdots,\gamma_{n+k-1})'\\ \le &\|\boldsymbol\alpha\|\sqrt{\sum_{j=0}^{n-1}\gamma_{k+j}^2}\\ \le& \left(\frac{\gamma_0}{\gamma_1}\sum_{j=0}^{n-1}\gamma_{k+j}^2 \right) \\ \to &0,\quad k\to \infty. \end{aligned} \]
這與\(\gamma_0>0\)矛盾。
推論：線性平穩序列的自協方差矩陣總是正定的。
簡單離散譜序列的自協方差函數是三階退化的。
簡單離散譜序列為\(Z_j(t)=\xi_j\cos(t\lambda_j)+\eta_j\sin(t\lambda_j)\)，其自協方差函數為
\[\gamma_{j-s}=\sigma_j^2\cos[(t-s)\lambda_j]. \]
三階自協方差矩陣為
\[\Gamma_3=\sigma_j^2\begin{bmatrix} 1 & \cos \lambda_j & \cos 2\lambda_j \\ \cos\lambda_j & 1 & \cos\lambda_j \\ \cos 2\lambda_j & \cos \lambda_j & 1 \end{bmatrix},\\ \det(\Gamma_3)=(1-\cos^22\lambda_j)-2\cos\lambda_j(\cos\lambda_j-\cos\lambda_j\cos2\lambda_j)=0. \]
AR(p)模型
Wold系數的遞推公式：\(\psi_0=1\)，對於\(k\ge 1\)，如果定義下標為負數時Wold系數為0，則\(\psi_k=\sum_{j=1}^p a_j\psi_{k-j}\)（即\(A(\mathscr B)\psi_k=0\)）。
注意到Wold系數其實是\(A^{-1}(z)\)的泰勒級數，所以
\[\begin{aligned} 1=&A(z)A^{-1}(z)\\ =&-\sum_{j=0}^p a_jz^j\sum_{k=0}^\infty \psi_kz^k\\ =&-\sum_{k=0}^\infty\sum_{j=0}^pa_j\psi_{k-j}z^k. \end{aligned} \]
當\(k=0\)時，
\[\sum_{j=0}^pa_j\psi_{-j}=-1\Rightarrow \psi_0=1, \]
當\(k\ge 1\)時，
\[\sum_{j=0}^pa_j\psi_{k-j}=0\Rightarrow \psi_k=\sum_{j=1}^p a_j\psi_{k-j}. \]
\({\rm AR}(p)\)序列自協方差函數的結構：\(A(\mathscr B)\gamma_k=\sigma^2\psi_{-k}\)。
對於\(k\ge 0\)，由Yule-Walker方程直接得到\(A(\mathscr B)\gamma_k=0(k>0)\)，\(A(\mathscr B)\gamma_k=\sigma^2\)。
對於\(k<0\)，有
\[\begin{aligned} &\quad \gamma_k-(a_1\gamma_{k-1}+\cdots+a_p\gamma_{k-p})\\ &=\mathbb{E}\left[X_{t-k}\left(X_t-\sum_{j=1}^p a_jX_{t-j} \right) \right]\\ &=\mathbb{E}(X_{t-k}\varepsilon_t)\\ &= \sigma^2\psi_{-k}. \end{aligned} \]
定理4.1：如果實數\(\gamma_k,k=0,\cdots,n\)使得\(\Gamma_{n+1}\)正定，則由其定義的Yule-Walker系數滿足最小相位條件。
零均值平穩序列\(\{X_t\}\)是\({\rm AR}(p)\)序列的充要條件是，它的偏相關系數\(a_{n,n}\)在\(p\)后截尾。
充分性：記\(\boldsymbol{a}_p=(a_{p,1},\cdots,a_{p,p})=(a_1,\cdots,a_p)\)，由Levinson遞推公式和\(a_{p+k,p+k}=0\)得到，
\[a_{p+1,j}=a_{p,j}-a_{p+1,p+1}a_{p,p+1-j}=a_{p,j},\quad 1\le j\le p,\\ a_{p+k,j}=a_{p+k-1,j}=\cdots=a_{p,j}=a_j,\quad k\le 2,1\le j\le p,\\ a_{p+k,j}=a_{j,j}=0,\quad p<j\le p+k. \]
進而對\(n\ge p\)總有\((a_{n,1},\cdots,a_{n,n})'=(a_1,\cdots,a_p,0,\cdots,0)\)。由Yule-Walker方程，對\(k\ge 1\)有
\[\gamma_k=\sum_{j=1}^p a_j\gamma_{k-j}. \]
從這里開始的證明過程很具有代表性，務必掌握。
定義
\[\varepsilon_t=X_{t}-\sum_{j=1}^p a_jX_{t-j},\quad t\in\mathbb{Z}, \]
則\(\{\varepsilon_t\}\)是線性濾波，因而是平穩序列，且是零均值的，方差定義為\(\mathbb{D}(\varepsilon_t)=\sigma^2_p>0\)。下證其為白噪聲，對\(t>s\)，
\[\begin{aligned} \mathbb{E}(\varepsilon_tX_s)=&\mathbb{E}\left[X_s\left(X_t- \sum_{j=1}^pX_{t-j} \right)\right]\\ =&\gamma_{t-s}-\sum_{j=1}^p\gamma_{t-s-j}\\ =&0,\\ \mathbb{E}(\varepsilon_t\varepsilon_s)=&\mathbb{E}\left[\varepsilon_t\left(X_s-\sum_{j=1}^pX_{s-j} \right) \right]\\ =&\mathbb{E}(\varepsilon_tX_s)-\sum_{j=1}^p\mathbb{E}(\varepsilon_tX_{s-j})\\ =&0. \end{aligned} \]
這就證明了\(\{\varepsilon_t\}\sim {\rm WN}(0,\sigma_p^2)\)。由定理4.1，\(a_1,\cdots,a_j\)滿足最小相位條件，所以
\[X_t=\sum_{j=1}^p a_jX_{t-j}+\varepsilon_t, \]
\(\{X_t\}\)是一個\({\rm AR}(p)\)序列。
必要性：對\({\rm AR}(p)\)序列\(X_t=\sum_{j=1}^p X_{t-j}+\varepsilon_t\)，解Yule-Walker方程，得到
\[\begin{bmatrix} \gamma_0 & \gamma_1 & \cdots & \gamma_p & \cdots & \gamma_{n-1} \\ \gamma_1 & \gamma_0 & \cdots & \gamma_{p-1} & \cdots & \gamma_{n-2} \\ \vdots & \vdots & & \vdots & & \vdots \\ \gamma_{n-1} & \gamma_{n-2} & \cdots &\gamma_{n-p-1} & \cdots & \gamma_{0} \end{bmatrix}\begin{bmatrix} a_{n,1} \\ a_{n,2} \\ \vdots \\ a_{n,n} \end{bmatrix}=\begin{bmatrix} \gamma_1 \\ \gamma_2 \\ \vdots \\ \gamma_n \end{bmatrix}. \]
記方程右端向量為\(\boldsymbol{\gamma}_n\)，系數矩陣列向量分別為\(\boldsymbol{\beta}_1,\cdots,\boldsymbol{\beta}_n\)。由於\(k\ge 1\)時有
\[A(\mathscr B)\gamma_k=0, \]
所以
\[\boldsymbol{\gamma}_n=\sum_{j=1}^p a_j\boldsymbol{\beta}_j. \]
由Cramer法則，\(a_{n,p+1}=\cdots=a_{n,n}=0\)，所以其偏相關系數是\(p\)后截尾的。
逆相關函數：\({\rm AR}(q)\)模型\(X_t=\sum_{j=1}^p a_jX_{t-j}+\varepsilon_t\)的逆相關函數是
\[\gamma_y(k)=\frac{1}{\sigma^2}\sum_{j=0}^{p-k}a_ja_{j+k},\quad 0\le k\le p,a_0=-1. \]
否則\(\gamma_y(k)=0\)。
\[f_X(\lambda)=\frac{\sigma^2}{2\pi|A(e^{{\rm i}\lambda})|^2},\quad f_Y(\lambda)=\frac{1}{4\pi^2f_X(\lambda)}=\frac{|A(e^{{\rm i}\lambda})|^2}{2\pi\sigma^2}. \]
這是\({\rm MA}(p)\)序列：\(X_t=A(\mathscr B)\epsilon_t\)，\(\{\epsilon_t\}\sim {\rm WN}(0,\sigma^{-2})\)的譜密度，所以其逆相關函數為
\[\gamma_y(k)=\frac{1}{\sigma^2}\sum_{j=0}^{p-k}a_ja_{j+k},\quad 0\le k\le p. \]
MA(q)模型
引理1.2：設實常數\(\{c_j\}\)使得\(c_{q}\ne 0\)和
\[g(\lambda)=\frac{1}{2\pi}\sum_{j=-q}^qc_je^{-{\rm i}j\lambda}\ge 0,\quad \lambda\in[-\pi,\pi], \]
則有唯一的實系數多項式
\[B(z)=1+\sum_{j=1}^q b_jz^j\ne 0,\quad |z|<1,b_q\ne0, \]
使得\(g(\lambda)=(\sigma_0^2/2\pi)|B(e^{{\rm i}\lambda})|^2\)，這里\(\sigma_0^2\)是某個正常數。
零均值平穩序列\(\{X_t\}\)是\({\rm MA}(q)\)序列的充要條件是，其自協方差函數\(q\)后截尾。
必要性是顯然的，下證充分性。當自協方差函數\(q\)后截尾時，由譜密度反演公式，\(\{X_t\}\)的譜密度為
\[f(\lambda)=\frac{1}{2\pi}\sum_{k=-q}^q\gamma_ke^{-{\rm i}k\lambda}. \]
由引理1.2知，存在唯一的\(q\)階\(B(z)\)，使得
\[f(\lambda)=\frac{\sigma^2}{2\pi}|B(e^{{\rm i}\lambda})|^2. \]
假定\(f(\lambda)\)恆正，對\(|z|\le 1\)，有\(B(z)\ne 0\)，定義平穩序列
\[\varepsilon_t=B^{-1}(\mathscr B)X_t=\sum_{j=0}^\infty h_jX_{t-j}, \]
由於\(B^{-1}(z)\)在\(|z|\le 1\)內解析，所以\(\{h_j\}\)絕對可和，故\(\mathbb{E}(\varepsilon_t)=0\)。為驗證它是一個白噪聲，求其譜密度，為
\[f_\varepsilon(\lambda)=f(\lambda)\frac{1}{|B(e^{{\rm i}\lambda})|^2}=\frac{\sigma^2}{2\pi}, \]
這就證明了\(\{\varepsilon_t\}\sim {\rm WN}(0,\sigma^2)\)。又因為
\[X_t=B(\mathscr B)B^{-1}(\mathscr B)X_t=B(\mathscr B)\varepsilon_t, \]
所以\(\{X_t\}\)是一個\({\rm MA}(q)\)序列。
MA(1)的偏相關系數不截尾，並且可以求出。
上面已經證明過了，在這里再寫一次。設\({\rm MA}(1)\)序列滿足
\[X_t=\varepsilon_t+b\varepsilon_{t-1},\quad |b|<1. \]
假定\(\{\varepsilon_t\}\sim {\rm WN}(0,1)\)，則
\[\gamma_0=1+b^2,\quad \gamma_1=b, \]
所以其\(n\)階自協方差矩陣為
\[\Gamma_n=\begin{bmatrix} 1+b^2 & b & 0 & \cdots & 0 \\ b & 1+b^2 & b & \cdots & 0\\ 0 & b & 1+b^2 & \cdots & 0\\ \vdots &\vdots & \vdots & & \vdots \\ 0 & 0 & 0 & \cdots & 1+b^2 \end{bmatrix} \]
定義
\[\mathcal B_n=\frac{1-b^{2(n+1)}}{1-b^2}=1+b^2+b^4+\cdots+b^{2n}. \]
令\(\Gamma_n\)的行列式為\(d_n\)，有\(d_1=1+b^2\)，\(d_2=1+b^2+b^4\)，
\[d_n=(1+b^2)d_{n-1}-b^2d_{n-2}. \]
接下來使用數學歸納法能有效減少計算量。
如果\(d_n=\mathcal B_n\)對\(k< n\)都成立，則
\[\begin{aligned} d_{n}=&(1+b^2)d_{n-1}-b^2d_{n-2}\\ =&(1+b^2)\mathcal B_{n-1}-b^2\mathcal B_{n-2}\\ =&1+b^2+\cdots+b^{2n-2}+b^2+b^4+\cdots+b^{2n}-(b^2+b^4+\cdots+b^{2n-2})\\ =&1+b^2+b^4+\cdots+b^{2n}\\ =&\mathcal B_n. \end{aligned} \]
所以結論得證，由Cramer法則，
\[a_{n,n}=\frac{-(-1)^nb\cdot b^{n-1}}{\mathcal B_n}=\frac{-(-b)^n(1-b^2)}{1-b^{2n+2}}. \]
ARMA(p, q)模型
Wold系數的遞推公式：\({\rm ARMA}(p,q)\)序列的Wold系數可以被遞推，如果規定\(j>q\)時\(b_j=0\)，\(k<0\)時\(\psi_k=0\)，則
\[\psi_j=\left\{\begin{array}l 1,& j=0,\\ b_j+\sum_{k=1}^p a_k\psi_{j-k},&j>0. \end{array}\right. \]
類似\({\rm AR}(p)\)序列，
\[\begin{aligned} A(z)\Phi(z)=&-\sum_{k=0}^p a_kz^k\sum_{j=0}^\infty \psi_jz^j \\ =& -\sum_{j=0}^\infty \sum_{k=0}^p a_k\psi_{j-k}z^j. \end{aligned} \]
而
\[A(\mathscr B)\Phi(z)\varepsilon_t=A(\mathscr B)X_t=\sum_{j=0}^q b_j\varepsilon_{t-j}, \]
所以
\[A(z)\Phi(z)=-\sum_{j=0}^\infty \sum_{k=0}^pa_k\psi_{j-k}z^j=\sum_{j=0}^pb_jz^j=\sum_{j=0}^\infty b_jz^j. \]
當\(j=0\)時，
\[\psi_0=b_0=1, \]
當\(j\ge 1\)時，
\[\psi_j=\sum_{k=1}^pa_k\psi_{j-k}+b_j. \]
\({\rm ARMA}(p,q)\)序列的自協方差函數滿足差分方程：
\[\gamma_k-\sum_{j=1}^pa_j\gamma_{k-j}=\left\{\begin{array}l \sigma^2\sum_{j=k}^q b_j\psi_{j-k},& k<q; \\ \sigma^2b_q,& k=q;\\ 0,& k>q. \end{array}\right. \]
對\(k<0\)定義\(\psi_k=0\)，補充定義\(b_0=1\)，由於
\[X_t=\sum_{j=1}^pa_jX_{t-1}+\sum_{j=0}^q b_j\varepsilon_{t-j}, \]
在方程兩邊同時乘以\(X_{t-k}\)后取期望，得到
\[\begin{aligned} \gamma_k=&\mathbb{E}(X_tX_{t-k})\\ =&\mathbb{E}\left[\left(\sum_{j=1}^pa_jX_{t-j}+\sum_{j=0}^qb_j\varepsilon_{t-j} \right)X_{t-k} \right]\\ =&\sum_{j=1}^p a_j\gamma_{j-k}+\mathbb{E}\left(\sum_{j=0}^qb_j\varepsilon_{t-j}\sum_{l=0}^\infty\psi_l\varepsilon_{t-k-l} \right)\\ =&\sum_{j=1}^pa_j\gamma_{j-k}+\sigma^2\sum_{j=0}^q b_j\psi_{j-k},\quad k\in\mathbb{Z}. \end{aligned} \]
這就得到了上述差分方程。
引理2.2：設\(\{X_t\}\)是\({\rm ARMA}(p,q)\)模型\(A(\mathscr B)X_t=B(\mathscr B)\varepsilon_t\)的平穩解，如果又有白噪聲\(\{\eta_t\}\)和實系數多項式\(C(\mathscr B)\)、\(D(\mathscr B)\)使得
\[C(\mathscr B)X_t=D(\mathscr B)\eta_t,\quad t\in\mathbb{Z}, \]
則\(C(z)\)的階數\(\ge p\)，\(D(z)\)的階數\(\ge q\)。
\({\rm ARMA}(p, q)\)序列延拓的自協方差矩陣，如果階數\(m\ge q\)，則是可逆的。
\[\Gamma_{m,q}=\begin{bmatrix} \gamma_q & \gamma_{q-1} & \cdots & \gamma_{q-m+1} \\ \gamma_{q+1} & \gamma_q & \cdots & \gamma_{q-m+2} \\ \vdots & \vdots & & \vdots \\ \gamma_{q+m} & \gamma_{q+m-1} & \cdots & \gamma_q \end{bmatrix}. \]
這個證明較難，主要運用的是\({\rm ARMA}(p,q)\)序列當\(k>q\)后\(\gamma_k\)的遞推公式。
用反證法，如果\(|\Gamma_{m,q}|=0\)，則存在\(\boldsymbol{\beta}=(\beta_0,\cdots,\beta_{m-1})'\ne 0\)，使得\(\Gamma_{m,q}\boldsymbol{\beta}=0\)，即
\[\sum_{l=0}^{m-1}\beta_l\gamma_{q+k-l}=0,\quad k=0,1,\cdots,m-1. \]
由\({\rm ARMA}(p,q)\)滿足的差分方程，有
\[\sum_{l=0}^{m-1}\beta_l\gamma_{q+m-l}=\sum_{l=0}^{m-1}\beta_l\sum_{k=1}^pa_k\gamma_{q+m-l-k}=\sum_{k=1}^pa_k\sum_{l=0}^{m-1}\beta_l\gamma_{q+k-l-m}=0, \]
依次類推，可以得到
\[\sum_{l=0}^{m-1}\beta_l\gamma_{q+k-l}=0,\quad \forall k\ge 0. \]
令
\[Y_t=\sum_{l=0}^{m-1}\beta_lX_{t-l}, \]
則\(\{Y_t\}\)是零均值平穩序列，又因為
\[\mathbb{E}(Y_tX_{t-q-k})=\sum_{l=0}^{m-1}\beta_l\gamma_{q+k-l}=0,\forall k\ge 0; \\ \mathbb{E}(Y_tY_{t-q-k})=\sum_{l=0}^{m-1}\beta_l\mathbb{E}(Y_{t}X_{t-q-k-l})=0,\forall k\ge 0. \]
這說明\(\{Y_t\}\)的自協方差函數是\(q-1\)后截尾的，是一個\({\rm MA}(q)\)序列，存在\(\alpha_0,\cdots,\alpha_{q-1}\)，使得
\[\sum_{l=0}^{m-1}\beta_lX_{t-l}=\sum_{j=0}^{q-1}\alpha_j\varepsilon_{t-j}. \]
這里\(\{\varepsilon_t\}\sim {\rm WN}(0,\sigma^2)\)，與引理2.2矛盾。
\({\rm ARMA}(p,q)\)序列的不可再約性：如果零均值平穩序列\(\{X_t\}\)有自協方差函數\(\{\gamma_k\}\)，又設存在實數\(a_1,\cdots,a_p\)，\(a_p\ne 0\)使得\(A(z)=1-\sum_{j=1}^p a_jz^j\)滿足最小相位條件，且
\[\gamma_k-\sum_{j=1}^pa_j\gamma_{k-j}=\left\{\begin{array}l c\ne 0,& k=q, \\ 0,& k>q. \end{array}\right. \]
則\(\{X_t\}\)又是一個\({\rm ARMA}(p',q')\)序列，其中\(p'\le p,q'\le q\)。
此定理表明，如果給定了自協方差函數的結構信息，\({\rm ARMA}(p,q)\)的階數信息就是可推斷的。
同時這個定理的啟示是，一旦出現關於自協方差結構的信息，就構造差項序列，它必定是一個白噪聲或滑動平均序列。
\[\mathbb{E}(Y_tX_{t-k})=\mathbb{E}\left[\left(X_t-\sum_{j=1}^p a_jX_{t-j} \right)X_{t-k} \right]=\gamma_k-\sum_{j=1}^p a_j\gamma_{k-j}=\left\{\begin{array}l c,& k=q;\\ 0,& k>q. \end{array}\right. \\ \mathbb{E}(Y_tY_{t-k})=\mathbb{E}\left[Y_t\left(X_{t-k}-\sum_{j=1}^pa_jX_{t-k-j} \right) \right]=\left\{\begin{array}l c,& k=q; \\ 0,& k>q. \end{array}\right. \]
所以\(\{Y_t\}\)是一個\({\rm MA}(q)\)序列，存在實系數多項式\(B(z)\)使得
\[A(\mathscr B)X_t=B(\mathscr B)Y_t, \]
如果\(A(z)\)和\(B(z)\)有公共根，則有公因子\(C(z)\)，用\(C^{-1}(\mathscr B)\)分別左乘上述模型，即可得到一個更低階的\({\rm ARMA}(p',q')\)模型。
等階\({\rm ARMA}(p,p)\)序列：設\(X_t\)是\({\rm AR}(p)\)序列，\(\{\varepsilon_t\}\sim {\rm WN}(0,\sigma^2)\)滿足
\[X_t=\sum_{j=1}^pa_jX_{t-j}+\varepsilon_t,\quad t\in\mathbb{Z}, \]
又設\(\{\eta\}\)是和\(\{\varepsilon_t\}\)獨立的\({\rm WN}(0,a^2)\)，則\(Y_t=X_t+\eta_t\)是一個\({\rm ARMA}(p,p)\)序列。
本題意義主要在於，給出一個譜密度的應用場景。
由於\(Y_t=X_t+\eta_t\)，所以
\[\begin{aligned} Y_t=&\sum_{j=1}^p a_jX_{t-j}+\varepsilon_t+\eta_t \\ =&\sum_{j=1}^pa_jY_{t-j}+\varepsilon_t+\eta_t-\sum_{j=1}^p a_j\eta_{t-j}. \end{aligned} \]
定義\(Z_t=A(\mathscr B)Y_t\)，則
\[Z_t=\varepsilon_t+\eta_t-\sum_{j=1}^pa_j\eta_{t-j},\\ \]
當\(k>q\)時，
\[\mathbb{E}(Z_tZ_{t-k})=0,\\ \mathbb{E}(Z_tZ_{t-q})=-a_pa^2\ne 0, \]
所以\(\{Z_t\}\)是一個\({\rm MA}(q)\)序列，\(\{Y_t\}\)是一個\({\rm ARMA}(p',q')\)序列，這里\(p'\le p,q'\le p\)。因為\(Y_t=A^{-1}(\mathscr B)Z_t\)，設\(\{Z_t\}\)的譜密度為\(f_Z(\lambda)\)，則
\[\begin{aligned} f_Z(\lambda)&=f_\varepsilon(\lambda)+|A(e^{{\rm i}\lambda})|^2f_\eta(\lambda)\\ &=\frac{\sigma^2}{2\pi}+\frac{a^2}{2\pi}|A(e^{{\rm i}\lambda})|^2,\\ f_Y(\lambda)&=\frac{f_Z(\lambda)}{|A(e^{{\rm i}\lambda})|^2}\\ &=\frac{a^2}{2\pi}+\frac{\sigma^2}{2\pi|A(e^{{\rm i}\lambda})|^2}\\ &=\frac{a^2|A(e^{{\rm i}\lambda})|^2+\sigma^2}{2\pi|A(e^{{\rm i}\lambda})|^2}\\ &\xlongequal{def}\frac{a^2}{2\pi}\left|\frac{B(e^{{\rm i}\lambda})}{A(e^{{\rm i}\lambda})} \right|^2. \end{aligned} \]
這表明\(A(z)\)和\(B(z)\)無公共根，所以\(\{Y_t\}\)是一個\({\rm ARMA}(p,p)\)序列。
參數估計
如果\(\gamma_k\to 0\)，則樣本均值是均值的相合估計量，並且是均方相合估計。
\[\begin{aligned} \mathbb{E}(\bar X-\mu)^2&=\mathbb{E}\left[\frac{1}{N}\sum_{k=1}^N(X_k-\mu) \right]^2\\ &=\frac{1}{N^2}\sum_{j=1}^N\sum_{k=1}^N\gamma_{j-k}\\ &=\frac{1}{N^2}\sum_{k=-N+1}^{N-1}(N-|k|)\gamma_k\\ &\le \frac{1}{N}\sum_{k=-N}^N|\gamma_k|\to 0. \end{aligned} \]
如果定義自協方差函數的估計為
\[\hat\gamma_k=\frac{1}{N}\sum_{j=1}^{N-k}(x_j-\bar x_N)(x_{j+k}-\bar x_N), \]
則自協方差矩陣的估計\(\hat \Gamma_n\)是任意階正定的。
只要\(x_1,x_2,\cdots,x_N\)不全相同，則\(y_i=x_i-\bar x_N\)不全為0，故\(N\times(2N-1)\)型矩陣
\[A=\begin{bmatrix} 0 & \cdots & 0 & y_1 & y_2 & \cdots & y_{N-1} & y_N \\ 0 & \cdots & y_1 & y_2 & y_3 & \cdots & y_N & 0 \\ \vdots & & \vdots & \vdots & \vdots & & \vdots & \vdots \\ y_1 & \cdots & y_{N-1} & y_N & 0 & \cdots & 0 & 0 \end{bmatrix} \]
是滿秩，而
\[\hat \Gamma_N=\frac{1}{N}AA', \]
是正定矩陣，所以其任意階主子式是正定矩陣。
如果\(k\to \infty\)時\(\gamma_k\to 0\)，則對每個確定的\(k\)，\(\hat \gamma_k\)是\(\gamma_k\)的漸進無偏估計。
設\(\mu=\mathbb{E}(X_1)\)，則\(\{Y_t\}=\{X_t-\mu\}\)是零均值平穩序列，且\(\bar Y_N=\bar X_N-\mu\)。由於平移后的樣本自協方差函數不發生變化，所以
\[\begin{aligned} \hat\gamma_k&=\frac{1}{N}\sum_{j=1}^{N-k}(Y_j-\bar Y_N)(Y_{j+k}-\bar Y_N)\\ &=\frac{1}{N}\sum_{j=1}^{N-k}[Y_jY_{j+k}-\bar Y_N(Y_j+Y_{j+k})+\bar Y_N^2]\\ \end{aligned} \]
注意到
\[\mathbb{E}(\bar Y_N^2)\to 0,\\ \mathbb{E}[\bar Y_N(Y_j+Y_{j+k})]\le \sqrt{\mathbb{E}(\bar Y_N^2)\mathbb{E}(Y_{j+k}+Y_j)^2}\le \sqrt{4\mathbb{E}(\bar Y_N^2)\gamma_0}\to 0. \]
所以
\[\mathbb{E}(\hat\gamma_k)=\frac{1}{N}\sum_{j=1}^{N-k}\mathbb{E}(Y_jY_{j+k})+o(1)=\frac{N-k}{N}\gamma_k+o(1)\to \gamma_k. \]
中心極限定理的應用：設\(\{\varepsilon_t\}\)是獨立同分布的\({\rm WN}(0,\sigma^2)\)，\(a\in(-1,1)\)，如果
\[X_t=aX_{t-1}+\varepsilon_t, \]
求\(\mu_n,\sigma_n\)，使得
\[\frac{\exp(\bar X_n)-\mu_n}{\sigma_n}\stackrel {d}\to N(0,1). \]
本題的主要意義在於，給出一個中心極限定理的應用場景，盡管不是課本上所提到的那種中心極限定理。
只需求分布函數即可，
\[\begin{aligned} &\quad \mathbb{P}\left(\frac{\exp(\bar X_n)-\mu_n}{\sigma_n}\le x \right)\\ &=\mathbb{P}\left[\bar X_n\le \ln(\sigma_nx+\mu_n) \right]\\ &=\mathbb{P}\left[\frac{X_1+X_2+\cdots+X_n}{n}\le \ln(\mu_n+x\sigma_n) \right]\\ &= \mathbb{P}\left[\frac{a(X_0-X_n)+\varepsilon_1+\cdots+\varepsilon_n}{(1-a)n}\le \ln(\mu_n+x\sigma_n) \right]\\ &=\mathbb{P}\left[\frac{\varepsilon_1+\cdots+\varepsilon_n}{\sqrt{n}}\le\sqrt{n}(1-a)\ln(\mu_n+x\sigma_n)-\frac{a(X_0-X_n)}{\sqrt{n}}\right]\\ &=\mathbb{P}\left[\frac{\sum_{j=1}^n \varepsilon_j}{\sigma\sqrt{n}}\le\frac{\sqrt{n}(1-a)\ln(\mu_n+x\sigma_n)}{\sigma}-\frac{a(X_0-X_n)}{\sigma\sqrt{n}} \right]\\ &\approx\Phi\left(\frac{n(1-a)\ln(\mu_n+x\sigma_n)-a(X_0-X_n)}{\sigma \sqrt{n}} \right). \end{aligned} \]
希望
\[\frac{n(1-a)\ln(\mu_n+x\sigma_n)-a(X_0-X_n)}{\sigma \sqrt{n}}\approx x, \]
即
\[\frac{\sqrt{n}(1-a)}{\sigma}\ln(\mu_n+x\sigma_n)\approx x, \]
必有\(\mu_n=1\)（以便等價無窮小替換），同時
\[\sigma_n=\frac{\sigma}{\sqrt{n}(1-a)}. \]
線性預測
預測方程：如果\(\boldsymbol{a}\in\mathbb{R}^n\)，使得\(\Gamma_x\boldsymbol{a}=\mathbb{E}(\boldsymbol{X}Y)\)，則\(L(Y|\boldsymbol{X})=\boldsymbol{a}'\boldsymbol {X}\)。
對任何\(\boldsymbol{b}\in\mathbb{R}^n\)，有
\[\begin{aligned} \mathbb{E}(Y-\boldsymbol{b}'\boldsymbol{X})^2&=\mathbb{E}[Y-\boldsymbol{a}'\boldsymbol{X}+(\boldsymbol{a}-\boldsymbol{b})'\boldsymbol{X}]^2\\ &=\mathbb{E}(Y-\boldsymbol{a}'\boldsymbol{X})^2+\mathbb{E}[(\boldsymbol a-\boldsymbol b)'\boldsymbol X]^2+2\mathbb{E}[(Y-\boldsymbol a'\boldsymbol X)(\boldsymbol a-\boldsymbol b)'\boldsymbol X]\\ &=\mathbb{E}(Y-\boldsymbol a'\boldsymbol X)^2+\mathbb{E}[(\boldsymbol a-\boldsymbol b)'\boldsymbol X]^2+2(\boldsymbol a-\boldsymbol b)'\mathbb{E}[\boldsymbol X(Y-\boldsymbol a'\boldsymbol X)]\\ &=\mathbb{E}(Y-\boldsymbol a'\boldsymbol X)^2+\mathbb{E}[(\boldsymbol a-\boldsymbol b)'\boldsymbol X]^2\\ &\ge \mathbb{E}(Y-\boldsymbol a'\boldsymbol X)'. \end{aligned} \]
證畢。
預測誤差是逐步遞增的，但有上界；純非決定性平穩序列隨着預測間隔增大將均方收斂於\(0\)。
由於
\[\sigma_{k,m}^2=\mathbb{E}[X_{n+k}-L(X_{n+k}|X_n,X_{n-1},\cdots,X_{n-m+1})]^2,\\ \begin{aligned} \sigma_k^2&=\lim_{m\to \infty}\sigma_{k,m}^2\\ &=\lim_{m\to \infty}\mathbb{E}[X_{k}-L(X_{k}|X_0,\cdots,X_{-m+1})]^2\\ &=\lim_{m\to \infty}\mathbb{E}[X_{k-1}-L(X_{k-1}|X_{-1},\cdots,X_{-m})]^2\\ &\ge\lim_{m\to \infty}\mathbb{E}[X_{k-1}-L(X_{k-1}|X_0,\cdots,X_{-m})]^2\\ &=\sigma_{k-1}^2. \end{aligned} \]
這說明預測誤差隨步長單調遞增，但是
\[\sigma_{k}^2=\lim_{m\to \infty}\mathbb{E}[X_k-L(X_k|X_0,\cdots,X_{-m+1})]^2\le \lim_{m\to \infty}\mathbb{E}(X_k)^2=\gamma_0. \]
對於純非決定性平穩序列，隨着預測間隔增大將均方收斂於0，即
\[\quad \lim_{k\to \infty}\lim_{m\to \infty}\mathbb{E}[L(X_{n+k}|X_n,X_{n-1},\cdots,X_{n-m+1})]^2. \]
設\(\hat X_{n+k}=L(X_{n+k}|X_n,\cdots,X_{n-m+1})\)，則由勾股定理，
\[\mathbb{E}(X_{n+k}^2)=\mathbb{E}(X_{n+k}-\hat X_{n+k})^2+\mathbb{E}(\hat X_{n+k}^2), \]
當\(k\to \infty\)時，
\[\lim_{k\to \infty}\mathbb{E}(X_{n+k}^2)=\lim_{k\to \infty}\mathbb{E}(X_{n+k}-\hat X_{n+k})^2=\gamma_0, \]
所以
\[\lim_{k\to \infty}\mathbb{E}(\hat X_{n+k}^2)=0. \]
定理2.4：設\(\boldsymbol{X}_{n,m}=(X_n,X_{n-1},\cdots,x_{n-m+1})'\)，對於\(Y\in L^2\)，當\(m\to \infty\)時，
\[L(Y|\boldsymbol{X}_{n,m})\stackrel{\text{m.s.}}\to \hat Y=L(Y|H_n). \]
這里\(H_n=\overline{\text{sp}}(X_n,X_{n-1},\cdots)\)。
這個定理的意義是理論上的，表示可以有窮歷史預測無窮歷史。
遠期預報的均方誤差：設\(\{X_t\}\)是非決定性平穩序列，則
\[\begin{aligned} L(X_{t+n}|H_t)&=L(U_{t+n}|H_t)+L(V_{t+n}|H_t) \\ &=L\left(\sum_{j=0}^\infty a_j\varepsilon_{t-j}\bigg|H_t \right)+V_{t+n}\\ &=\sum_{j=n}^\infty a_j\varepsilon_{t+n-j}+V_n \end{aligned} \]
所以
\[\mathbb{E}[X_{t+n}-L(X_{t+n}|H_n)]^2=\mathbb{E}\left(\sum_{j=0}^{n-1}a_j\varepsilon_{t+n-j}\right)=\sigma^2\sum_{j=0}^{n-1}a_j^2. \]
當\(n\to \infty\)時，預報的均方誤差趨近於\(\mathbb{E}(U_t^2)\)。
有窮歷史預測中，誤差的張成空間與原序列的張成空間相同。
設\(\{Y_t\}\)是方差有限的零均值時間序列，對任何正整數，令\(\boldsymbol{Y}_n=(Y_1,\cdots,Y_n)'\)，\(L_n=\overline{\text{sp}}(\boldsymbol{Y}_n)\)。其最佳線性預測為
\[\hat Y_1=0,\quad \hat Y_n=L(Y_n|\boldsymbol{Y}_{n-1}),\quad n=1,2,\cdots \]
引入預測誤差及其方差為
\[W_n=Y_n-\hat Y_n,\quad \nu_{n-1}=\mathbb{E}(W_n^2), \]
再令\(\boldsymbol{W}_n=(W_1,\cdots, W_n)'\)，\(M_n=\overline{\text{sp}}(W_1,\cdots,W_n)\)，則欲證明\(\forall n,L_n=W_n\)。
對於\(n=1\)，由於\(\hat Y_1=0\)，所以\(W_1=Y_1\)，即\(L_1=W_1\)。假設此結論對\(k\le n-1\)都成立，則當\(k=n\)時，
\[W_n=Y_n-L(Y_n|\boldsymbol{Y}_{n-1})\in L_n,\\ Y_n=W_n+\hat Y_{n}\in M_n. \]
這是因為\(L(Y|\boldsymbol{Y}_{n-1})\in L_{n-1}\)，\(\hat Y_n\in L_{n-1}=M_{n-1}\)。這就說明\(L_n=M_n\)。
平穩序列的遞推預測：設\(\{X_n\}\)是零均值平穩序列，其自協方差函數為\(\{\gamma_k\}\)，設
\[\boldsymbol{X}_n=(X_1,\cdots,X_n)',\quad Z_n=X_n-\hat X_n, \]
則當\(\Gamma_n\)正定時，有
\[\hat X_{n+1}\xlongequal{def}L(X_{n+1}|\boldsymbol{X}_n)=\sum_{j=1}^n\theta_{n,j}Z_{n+1-j}. \]
這里遞推預測系數\(\{\theta_{n,j}\}\)和預測的均方誤差\(\nu_n=\mathbb{E}(Z_{n+1}^2)\)滿足如下的遞推公式：
\[\nu_0=\gamma_0,\\ \theta_{n,n}=\frac{\gamma_n}{\nu_0}=\rho_n,\\ \theta_{n,n-k}=\frac{\gamma_{n-k}-\sum_{j=0}^{k-1}\theta_{k,k-j}\theta_{n,n-j}\nu_j}{\nu_k},\quad 0<k\le n-1,\\ \nu_n=\gamma_0-\sum_{j=0}^{n-1}\theta_{n,n-j}^2\nu_j. \]
最好掌握證明，省得記憶。
由於\(\boldsymbol{X}_n\)的張成空間與\(\boldsymbol{Z}_n\)的張成空間相同，所以預測在形式上是成立的。所以對於\(0\le k\le n-1\)，
\[\begin{aligned} \mathbb{E}(\hat X_{n+1}Z_{k+1})&=\mathbb{E}\left[Z_{k+1}\left(\sum_{j=1}^{n}\theta_{n,n+1-j}Z_j \right) \right]\\ &=\sum_{j=1}^n\theta_{n,n+1-j}\mathbb{E}(Z_{k+1}Z_j)\\ &=\theta_{n,n-k}\nu_{k}. \end{aligned} \]
注意到
\[\hat X_{k+1}=\sum_{j=1}^k\theta_{k,j}Z_{k+1-j}=\sum_{j=0}^{k-1}\theta_{k,k-j}Z_{j+1},\\ \mathbb{E}(X_{n+1}Z_{k+1})=\mathbb{E}(\hat X_{n+1}Z_{k+1}), \]
所以
\[\begin{aligned} \theta_{n,n-k}&=\frac{\mathbb{E}(\hat X_{n+1}Z_{k+1})}{\nu_k}\\ &=\frac{\mathbb{E}(X_{n+1}Z_{k+1})}{\nu_k}\\ &=\frac{\mathbb{E}[X_{n+1}(X_{k+1}-\sum_{j=1}^{k}\theta_{k,k+1-j}Z_{j})]}{\nu_k}\\ &=\frac{\gamma_{n-k}-\sum_{j=1}^k\theta_{k,k+1-j}\mathbb{E}(X_{n+1}Z_j)}{\nu_k}\\ &=\frac{\gamma_{n-k}-\sum_{j=1}^k\theta_{k,k+1-j}\mathbb{E}(\hat X_{n+1}Z_j)}{\nu_k}\\ &=\frac{\gamma_{n-k}-\sum_{j=1}^k\theta_{k,k+1-j}\theta_{n,n+1-j}\nu_{j-1}}{\nu_k}\\ &=\frac{\gamma_{n-k}-\sum_{j=0}^{k-1}\theta_{k,k-j}\theta_{n,n-j}\nu_{j}}{\nu_k}. \end{aligned} \]
對於預測的均方誤差，有
\[\nu_n=\mathbb{E}(Z_{n+1}^2)=\mathbb{E}(X_{n+1}^2-\hat X_{n+1}^2)=\gamma_0-\sum_{j=1}^n\theta_{n,n-j}^2\nu_j. \]
可以用它遞推一兩項以作自測。
\({\rm MA}(q)\)序列的遞推預測只需要最后\(q\)個新息。
設\({\rm MA}(q)\)序列的逐步預測誤差是\(\{\hat\varepsilon_n\}\)（即樣本新息，\(\hat \varepsilon_n=X_{n}-L(X_n|\boldsymbol{X}_{n-1})\)），則
\[L(X_{n+1}|\boldsymbol{X}_n)=L(X_{n+1}|X_n,\cdots,X_{n-q+1})=L(X_{n+1}|\hat\varepsilon_n,\cdots,\hat\varepsilon_{n-q+1}). \]
也就是
\[L(X_{n+1})=\sum_{j=1}^q\theta_{n,1}\hat\varepsilon_{n+1-j}. \]
從而
\[\nu_n=\gamma_0-\sum_{j=1}^q\theta_{n,1}^2\nu_{n-j}. \]
如果是遠期預測，則
\[L(X_{n+k+1}|\boldsymbol{X}_n)=\sum_{j=k+1}^q\theta_{n+k,j}\hat\varepsilon_{n+k+1-j},\quad 1\le k\le q-1. \]
這是因為當我們知道\({\rm MA}(q)\)模型的系數時，所有遞推系數和預測均方誤差已經可遞推計算，只有\(\hat\varepsilon_{t}\)是依賴於觀測值計算的。
\({\rm ARMA}(p,q)\)序列的遞推預測
對於\({\rm ARMA}(p,q)\)模型序列\(\{X_t\}\)，構造輔助數列：
\[Y_t=\left\{\begin{array}l X_t/\sigma,& t=1,2,\cdots,m, \\ A(\mathscr B)X_t/\sigma,& t>m. \end{array}\right.\quad m=\max\{p,q\}. \]
顯然\(Y_t\in\overline{\text{sp}}(X_1,\cdots,X_t)\)，且對於\(t>m\)，\(X_t=\sigma Y_t+\sum_{j=1}^p a_pX_{t-j}\)，由數學歸納法可知\(X_t\)、\(Y_t\)的張成空間相同，進而它們的樣本新息張成空間也相同。設\(W_t=Y_t-\hat Y_t\)，\(Z_t=X_t-\hat X_t\)，總有（省略證明）
\[Z_t=\sigma W_t,\quad \mathbb{E}Z_t^2=\sigma^2\mathbb{E}W_t^2, \]
令\(\theta_{n,j}\)是\(\{Y_t\}\)的預測遞推系數，則對於\(1\le n\le m\)，此時\(\{Y_t\}\)還是平穩的，就有
\[\hat Y_{n+1}=\sum_{j=1}^n\theta_{n,j}W_{n+1-j}, \]
於是
\[\hat X_{n+1}=\sigma\hat Y_{n+1}=\sum_{j=1}^n\theta_{n,j}\sigma W_{n+1-j}=\sum_{j=1}^n\theta_{n,j}Z_{n+1-j},\quad l\le n\le m. \]
對於\(n>m\)，
\[\hat Y_{n+1}=\sum_{j=1}^q \theta_{n,j}W_{n+1-j},\\ \hat X_{n+1}=\sigma\hat Y_{n+1}+\sum_{j=1}^p a_jX_{n+1-j}=\sum_{j=1}^pa_jX_{n+1-j}+\sum_{j=1}^q\theta_{n,j}Z_{n+1-j},\quad n>m. \]
注意，這里\(\theta_{n,j}\)是\(\{Y_t\}\)的遞推預測系數（而不是\(\{X_t\}\)的），因此要利用非平穩序列的系數遞推預測與預測誤差遞推，稍微麻煩。
遠期預測的無效性：設\(\{X_t\}\)是可逆的\({\rm ARMA}(p,q)\)序列，
\[\hat X_{n+k}\xlongequal{def}L(X_{n+k}|X_n,X_{n-1},\cdots,X_1),\quad k\ge 1. \]
則有
\[\lim_{k\to \infty}\lim_{n\to \infty}\mathbb{E}(\hat X_{n+k}^2)=0,\\ \lim_{n\to \infty}\mathbb{E}(\hat X_{n+1}-X_{n+1})^2=\sigma^2. \]
由\(\{X_t\}\)的平穩性，有
\[\hat X_{n+k}\xlongequal{def}L(X_{n+k}|X_n,\cdots,X_1)=L(X_k|X_0,\cdots,X_{-n+1}). \]
所以
\[\lim_{n\to \infty}\hat X_{n+k}=L(X_k|H_0)=L(X_k|M_0). \]
由\(X_k\)的Wold展開，有
\[\begin{aligned} &\quad L(X_k|\varepsilon_0,\varepsilon_{-1},\cdots)\\ &=L\left(\sum_{j=0}^{\infty}a_j\varepsilon_{k-j}\bigg|\varepsilon_0,\varepsilon_{-1},\cdots \right)\\ &=\sum_{j=0}^{k-1} a_j\varepsilon_{t-j}. \end{aligned} \]
所以
\[\lim_{k\to \infty}\lim_{n\to \infty}\mathbb{E}(\hat X_{n+k}^2)=\sigma^2\sum_{j=0}^{k-1} a_j^2=0. \]
同時，也有
\[\lim_{n\to \infty}\mathbb{E}[(X_{n+1}-\hat X_{n+1})^2]=\varepsilon_1. \]
對可逆的\({\rm ARMA}(p,q)\)序列，預測的均方誤差收斂於白噪聲方差。
\[\begin{aligned} &\quad \lim_{k\to \infty}\nu_k\\ &=\lim_{k\to \infty}\mathbb{E}(X_{k+1}-\hat X_{k+1})^2\\ &=\lim_{k\to \infty}\mathbb{E}(X_1-L(X_1|X_0,\cdots,X_k))^2\\ &=\mathbb{E}(\varepsilon_1^2) \\ &=\sigma^2. \end{aligned} \]
特別當\(\sigma^2=1\)時，有
\[\lim_{N\to \infty}\frac{1}{N}\ln(\nu_0\nu_1\cdots\nu_{N-1})=0. \]
此即\({\rm ARMA}(p,q)\)的極大似然估計中用到的結論。
