時間序列分析1.基本數學概念

---

本文主要介紹時間序列分析中會用到的一些數學知識。

---

1.均值、方差、協方差、相關系數

1.1 期望

1.1.1 期望的定義

令\(X\)具有概率密度函數\(f(x)\),並且令\((X,Y)\)對具有聯合概率密度函數\(f(x,y)\)。
定義\(X\)的期望值為：\(E(X)={\int\limits_{-\infty}^\infty}xf(x)dx\)。

1.1.2 期望的性質

1. \(E(aX+bY+c) = aE(X)+bE(Y)+c\)
2. 當\(X\)和\(Y\)相互獨立時，\(E(XY)=E(X)E(Y)\)

1.2 方差

1.2.1 方差的定義

隨機變量\(X\)的方差定義為：\(D(X)=E\{[X-E(X)]^2\}\)，方差通常還記為\(Var(X)\)、\(\mu^2\)。
若\(X\)是離散型隨機變量，則\(D(X)=\sum_{k=1}^{\infty}[x_k-E(x)]^2p_k\).
若\(X\)是連續型隨機變量，則\(D(X)=\int_{-\infty}^{\infty}[x-E(x)]^2f(x)dx\)

\(D(X)=E\{[X-E(X)]^2\)
\(=E\{X^2-2XE(X)+[E(X)]^2\}\)
\(=E(X^2)-2E(X)E(X)+[E(x)]^2\)
\(=E(X^2)-[E(X)]^2\)

1.2.2 方差的性質

1. \(D(aX+b)=a^2D(X)\)
2. 若\(X\)與\(Y\)相互獨立，則\(D(X\pm Y) = D(X)+D(Y)\)
3. 若\(X\)與\(Y\)不獨立，則\(D(X\pm Y)=D(X)+D(Y)\pm2Cov(X,Y)\)

1.3 協方差

1.3.1 協方差的定義

\(Cov(X,Y)=E\{(X-E(X))(Y-E(Y))\}=E(XY)-E(X)E(Y)\)

1.3.2 協方差的性質

1. \(Cov(a+bX,c+dY)=bdCov(X,Y)\)
2. \(Cov(X+Y,Z)=Cov(X,Z)+Cov(Y,Z)\)
3. \(Cov(X,X)=D(X)\)
4. \(Cov(X,Y)=Cov(Y,X)\)
5. 若\(X\)與\(Y\)相互獨立，那么\(Cov(X,Y)=0\)

1.4 相關系數

1.4.1 相關系數的定義

\(X\)與\(Y\)的相關系數用\(Corr(X,Y)\)或者\(\rho\)表示，定義如下：

\[\rho=Corr(X,Y)=\frac{Cov(X,Y)}{\sqrt{Var(X)Var(Y))}} \]

1.4.2 相關系數的性質

1. \(-1\leq Corr(X,Y)\leq 1\)
2. \(Corr(X,Y)=\pm 1\)的充要條件是，存在常數\(a\)和\(b\)，使得\(Pr(Y=aX+b)=1\).
3. 相關系數如果為正號，則表示正相關，如果為負號，則表示負相關。通俗點說，正相關就是變量會與參照數同方向變動，負相關就是變量與參照數反向變動；
4. 取值為0，這是極端，表示不相關。取值接近\(\pm 1\)時說明線性相關程度強。

1.5 時間序列與隨機過程

對於隨機變量序列\(\{Y_t: t=0,1,2,3,...\}\)稱為一個隨機過程，並以之作為觀測時間序列的模型。

1.5.1 自協方差函數

\[\gamma_{t,s}=Cov(Y_t,Y_s),t,s=0,1,2,3,... \]

其中\(Cov(Y_t,Y_s)=E[(Y_t-\mu_t)(Y_s-\mu_s)]\)。

1.5.2 自相關函數

\({{\rho}_{t,s}}={Cov(Y_t,Y_s)},t,s=0,1,2,3,...\)
其中：

\[{Corr(Y_t,Y_s)} =\frac{Cov(Y_t,Y_s)}{\sqrt{Var(Y_t)Var(Y_s)}} =\frac{\gamma _{t,s}}{\sqrt{\gamma _{t,t}\gamma _{s,s}}}\]

1.5.3 重要結論

在研究不同時間序列的模型協方差的性質時，反復用到如下結論：如果\(c_1,c_2,c_3,...c_m\)和\(d_1,d_2,d_3,...d_n\)表示常數，\(t_1,t_2,t_3,...t_m\)和\(s_1,s_2,s_3,...s_n\)表示時間點，則有：

\[{Cov[\sum_{i=1}^{m}{c_iY_{t_i}},\sum_{j=1}^{n}{d_iY_{s_j}}]} =\sum_{i=1}^{m}\sum_{j=1}^{n}c_id_jCov(Y_{t_i},Y_{s_j})\]

2.平穩性

平穩性的基本思想是，決定過程特性的統計規律不隨着時間的變化而變化。

2.1 嚴平穩

如果對於一切時間間隔\(k\)和時間點\(t_1,t_2,t_3,...,t_n\)，都有\(Y_{t_1},Y_{t_2},...,Y_{t_n}\)與\(Y_{t_1-k},Y_{t_2-k},...,Y_{t_n-k}\)的聯合分布相同，則稱過程\(\{Y_t\}\)為嚴平穩。

2.2 弱平穩

2.2.1 弱平穩時間序列的條件

1.\(E(Y_t)=\mu\)，序列的均值應該是一個常數，而不是隨時間變化的函數。下圖中左圖滿足要求，而右圖的均值是隨時間而變化的。

2.\(Var(Y_t)=\gamma\)，序列的方差為一個常數，而不隨時間的變化。

3.\(Cov(Y_t,Y_{t+k})=\gamma_{0,k}\),序列協方差的值只與時間間隔\(k\)有關，與時間\(t\)無關。

以上的三個條件必須全部滿足，才能被稱為弱平穩的時間序列。我們建立時間序列模型時必須要求時間序列是平穩的，這是因為我們用時間序列做預測時，我們的隨機變量的基本特性必須能在包括未來階段的一個長時期里維持不變，否則，基於歷史和現狀來預測未來的思路便是錯誤的。所以在時間序列建模時第一步就是要將不平穩的序列平穩化，可以采用差分等方法。

2.2.2 弱平穩時間序列的自相關系數

弱平穩序列的自相關系數：

\[\rho_k = \frac{Cov(x_t,x_{t,k})}{\sqrt{Var(x_t)Var(x_{t-k})}} =\frac{Cov(x_t,x_{t-k})}{Var(x_t)} =\frac{\gamma_k}{\gamma_0}\]

2.3 隨機游動

令\(e_1,e_2,e_3,...\)為均值為\(0\)，方差是\({\sigma_e^2}\)的獨立同分布的隨機變量序列，觀測時間序列\({Y_t:t=1,2,3,...}\)構造如下：
\(Y_1=e_1\)
\(Y_2=e_1+e_2\)
\(...\)
\(Y_t=e_1+e_2+e_3\)
也可以寫成：

\[Y_t=Y_{t-1}+e_t \]

其初始條件為\(Y_1=e_1\)，\(e\)指沿數軸（前向或后向）方向游動的步長大小，\(Y_t\)是在時刻\(t\)，“漫步者”到達的位置。
對於所有的\(t\):
均值：\(\mu_t=0\)
方差：\(D(Y_t)=t\sigma_e^2\)
自協方差：\(\gamma_{t,s}=t\sigma_e^2\)
自相關系數：\(\rho_{t,s}=\frac{\gamma_{t,s}}{\sqrt{\gamma_{t,t}\gamma_{s,s}}}=\sqrt{\frac{t}{s}},1\leq t\leq s\)

可以看到，隨機游動的方差、自協方差均是隨時間線性增長的，所以隨機游動不是平穩序列。

2.4 白噪聲

如果序列\(\{Y_t\}\)的所有觀測值都是獨立同分布的，而且他的均值\(\mu\)和方差\(\sigma^2\)都是有窮的常數，則該序列稱為白噪聲(white noise)或純隨機過程(purely random process)。
白噪聲的三個條件：

1. 有限均值
2. 有限方差
3. 獨立同分布
   如果白噪聲的分布是均值為0的正態分布，則\(\{Y_t\}\)也稱為高斯白噪聲。
   \(Pr(e_{t_1}\leq x_1,e_{t_2}\leq x_2,...,e_{t_n}\leq x_n)\)
   \(=Pr(e_{t_1}\leq x_1)Pr(e_{t_2}\leq x_2)...Pr(e_{t_n}\leq x_n)(根據獨立性)\)
   \(=Pr(e_{t_1-k}\leq x_1)Pr(e_{t_2-k}\leq x_2)...Pr(e_{t_n-k}\leq x_n)(同分布)\)
   \(=Pr(e_{t_1-k}\leq x_1,e_{t_2-k}\leq x_2,...,e_{t_n-k}\leq x_n) (根據獨立性)\)
   根據定義要求，顯然白噪聲是嚴平穩的。

---

參考資料

<Time Series Analysis with Applications in R>