應用隨機過程07：平穩過程

目錄

• 第七講 平穩過程
  • 一、平穩過程及其相關概念
    • Part 1：平穩過程的定義
    • Part 2：自相關函數的性質
  • 二、時間平均
    • Part 1：時間平均與樣本平均
    • Part 2：均方收斂與均方可積
    • Part 3：時間平均的定義
  • 三、各態歷經性
    • Part 1：各態歷經性的定義
    • Part 2：均值各態歷經性定理
    • Part 3：自相關函數各態歷經性定理

第七講 平穩過程

一、平穩過程及其相關概念

Part 1：平穩過程的定義

從通俗意義上去理解，平穩過程指的是統計特性不隨時間的推移而改變的一類隨機過程。隨機過程的統計特性一般通過有限維分布和數字特征進行刻畫。我們根據這些不變的特征，給出兩種平穩過程的定義，即嚴平穩過程和寬平穩過程。

嚴平穩過程：對於隨機過程 \(\{X(t),\,t\in T\}\) ，如果對任意 \(k\geq1\) 和 \(t_1,t_2,\cdots,t_k\in T\) 以及 \(h\in T\) 都有

\[\big(X(t_1+h),X(t_2+h),\cdots,X(t_k+h)\big)\xlongequal{d}\big(X(t_1),X(t_2),\cdots,X(t_k)\big) \ , \]

則稱該隨機過程為嚴平穩過程或強平穩過程。

嚴平穩過程的任意有限維分布都不隨時間的推移而改變。然而實際中隨機過程的有限維分布往往很難確定，所以我們一般研究的平穩過程，都是在數字特征尤其是一階矩和二階矩中體現出的平穩性。

寬平穩過程：對於隨機過程 \(\{X(t),\,t\in T\}\) ，對任意的 \(t\in T\) ，都有 \({\rm E}[X(t)]^2<\infty\) 。如果滿足

1. 均值函數為常數，即 \(\mu_X(t)\equiv\mu \ , \ \ t\in T\) ；
2. 自相關函數僅與時間差有關，即 \(r_X(s,\,t)=R_X(s-t) \ , \ \ s,\,t\in T\) ，

則稱該隨機過程為寬平穩過程或弱平穩過程。

嚴平穩過程和寬平穩過程的關系我們只需要記住以下兩條：

1. 如果嚴平穩過程的二階矩存在且有限，那么它一定是寬平穩過程，反之則不一定。
2. 如果寬平穩過程是正態過程，那么它一定是嚴平穩過程。

寬平穩過程一定是二階矩過程。以后提到的平穩過程，除非特別指明，否則都指的是寬平穩過程。

Part 2：自相關函數的性質

對於平穩過程而言，我們主要研究的數字特征就是自相關函數或自協方差函數。下面我們介紹平穩過程自相關函數或自協方差函數的性質。

設 \(\{X(t),\,t\in T\}\) 是寬平穩過程，定義自相關函數和自協方差函數為

\[r_X(\tau)={\rm E}(X(t)X(t+\tau)) \ , \quad C_X(\tau)={\rm Cov}(X(t),X(t+\tau)) \ , \quad \forall\tau\in T \ , \]

則有以下性質

1. \(r_X(0)\geq0,\,C_X(0)\geq0\) ；
2. \(r_X(\tau)\) 和 \(C_X(\tau)\) 均為偶函數；
3. \(|r_X(\tau)|\leq r_X(0),\,|C_X(\tau)|\leq C_X(0)\) ，即 \(0\) 點是最大值點；
4. \(r_X(\tau)\) 和 \(C_X(\tau)\) 均為非負定函數；

我們只證明關於自相關函數的結論。

性質 1 和性質 2 由定義式可得：

\[\begin{aligned} &r_X(0)={\rm E}[X(t)]^2\geq0 \ . \\ \\ &r_X(-\tau)={\rm E}(X(t)X(t-\tau))\xlongequal{t'=t-\tau}{\rm E}(X(t')X(t'+\tau))=r_X(\tau) \ . \end{aligned} \]

性質 3 由柯西不等式可得：

\[\left|r_X(\tau)\right|=|{\rm E}(X(t)X(t+\tau))|\leq\sqrt{{\rm E}[X(t)]^2{\rm E}[X(t+\tau)]^2}=r_X(0) \ . \]

性質 4 只需證對任意的 \(t_1,t_2,\cdots,t_n\in T\) 和任意的 \(a_1,a_2,\cdots,a_n\in\mathbb{R}\) ，有

\[\sum_{i=1}^n\sum_{j=1}^nr_X(t_i-t_j)a_ia_j\geq0 \ . \]

將定義式代入，並對和式進行整理可得

\[\begin{aligned} \sum_{i=1}^n\sum_{j=1}^nr_X(t_i-t_j)a_ia_j&=\sum_{i=1}^n\sum_{j=1}^n{\rm E}(X(t_i)X(t_j))a_ia_j\\ &={\rm E}\left[\sum_{i=1}^n\sum_{j=1}^nX(t_i)X(t_j)a_ia_j\right]={\rm E}\left[\sum_{i=1}^nX(t_i)a_i\right]^2\geq0 \ . \end{aligned} \]

如果忘記了非負定的含義，請自行復習線性代數關於二次型的相關內容。

二、時間平均

Part 1：時間平均與樣本平均

我們習慣上把隨機變量的數學期望稱作隨機變量的均值，這里我們簡單解釋一下其中的緣由。設 \(X\) 是一個隨機變量，數學期望為 \({\rm E}(X)=\mu\) 。如果 \(\mu\) 是未知的，我們可以通過反復試驗或多次觀測，收集一組簡單隨機樣本 \(X_1,X_2,\cdots,X_n\) ，計算樣本均值 \(\bar{X}\) 作為 \(\mu\) 的估計。

根據辛欽大數定律，我們有

\[\frac{X_1+X_2+\cdots+X_n}{n}\xrightarrow{P}\mu \ , \quad n\to\infty \ . \]

根據柯爾莫哥洛夫強大數定律，我們有

\[\frac{X_1+X_2+\cdots+X_n}{n}\xrightarrow{}\mu \ , \quad {\rm a.s.} \quad n\to\infty \ . \]

這就是極限意義下樣本平均的概念。基於上述事實，數學期望 \(\mu\) 就可以被稱為樣本平均。

接下來我們考慮隨機過程的情況。設 \(\{X(t),\,t\in T\}\) 是一個隨機過程，均值函數為 \({\rm E}(X(t))=\mu(t)\) 。如果 \(\mu(t)\) 是未知的，我們是否還能通過反復試驗或多次觀測，計算樣本均值來估計 \(\mu(t)\) 呢？

需要注意，這里的觀測需要針對同一時刻 \(t\) 進行。如果 \(t\) 發生改變，那么 \(X(t)\) 也不再是原來的隨機變量。然而在真實世界里，時間是不可重復的。在指定時刻，所有事件只發生一次，我們無法實現反復試驗或多次觀測，更無法使用大數定律判斷其收斂性。

為克服這一困難，我們考慮能否通過一次足夠長時間的觀測，用一條樣本函數信息來估計均值函數和自相關函數呢？這就是時間平均的概念。對於平穩過程來說似乎是可行的，但我們需要給出類似於大數定律的極限條件，只有滿足極限條件，才可以在極限意義下定義時間平均。

因此我們先引入均方可積的概念，再給出時間平均的定義。

Part 2：均方收斂與均方可積

在介紹均方可積之前，需要復習一下均方收斂的概念。

均方收斂：設 \(X,X_1,X_2,\cdots,X_n\) 都是隨機變量，且 \({\rm E}\left(X^2\right)<\infty,\,{\rm E}\left(X_n^2\right)<\infty,\,\forall n\geq1\) 。如果

\[\lim_{n\to\infty}{\rm E}\left[X_n-X\right]^2=0 \ , \]

則稱 \(X_n\) 均方收斂於 \(X\) ，記為 \(X_n\xrightarrow{L^2}X\) 。

下面給出均方可積的定義，了解即可，不需要掌握。

均方可積：設 \(\{X(t),\,a\leq t\leq b\}\) 是二階矩過程，做區間 \([a,b]\) 的划分 \(a=t_0<t_1<\cdots<t_n=b\) ，令 \(\Delta t_i=t_i-t_{i-1}\) ，取點 \(\tau_i\in[t_{i-1},t_i],\,i=1,2,\cdots,n\) 。如果存在隨機變量 \(Y\) 使得

\[\lim_{\max\Delta t_i\to0}{\rm E}\left(\sum_{i=1}^nX(\tau_i)\Delta t_i-Y\right)^2=0 \ , \]

則稱 \(X(t)\) 在區間 \([a,b]\) 上可積，記為 \(Y=\displaystyle\int_a^bX(t){\rm d}t\) ，稱為均方積分。

除此之外，均方可積還有如下的定理可供使用，證明略。

均方可積准則：\(X(t)\) 在 \([a,b]\) 上均方可積的充要條件是

\[\int_a^b\int_a^br_X(t_1,t_2){\rm d}t_1{\rm d}t_2 <\infty \ . \]

推論：如果 \(\{X(t),\,t\in T\}\) 是平穩過程，則對任何 \([a,b]\subset T\) ，\(X(t)\) 在 \([a,b]\) 上均方可積。

均方積分性質：設 \(X(t)\) 在 \([a,b]\) 上均方可積，則有

\[\begin{aligned} &{\rm E}\left[\int_a^bX(t){\rm d}t\right]=\int_a^b{\rm E}(X(t)){\rm d}t \ . \\ \\ &{\rm E}\left[\left(\int_a^bX(t){\rm d}t\right)^2\right]=\int_a^b\int_a^br_X(t_1,t_2){\rm d}t_1{\rm d}t_2 \ . \end{aligned} \]

Part 3：時間平均的定義

現在我們可以給出時間平均和時間相關函數的定義。這里我們考慮時間參數空間為全體實數 \(\mathbb{R}\) 上的情況。如果 \(\{X(t):t\in\mathbb{R}\}\) 為平穩過程，對任意的 \(T>0\) ，定義

\[\bar{X}_T=\frac1{2T}\int_{-T}^TX(t){\rm d}t \ , \]

由均方可積准則的推論知，一定有 \(X(t)\) 在 \([-T,T]\) 上是均方可積，所以 \(\bar{X}_T\) 存在且有限，稱 \(\bar{X}_T\) 為 \([-T,T]\) 上的時間平均。進而，如果存在一個隨機變量 \(\eta\) 使得

\[\lim_{T\to\infty}{\rm E}\left[\frac{1}{2T}\int_{-T}^TX(t){\rm d}t-\eta\right]^2=0 \ . \]

則稱 \(\eta\) 為平穩過程 \(\{X(t):t\in\mathbb{R}\}\) 的時間平均，記為

\[\langle X(t)\rangle=\eta=\lim_{T\to\infty}\frac{1}{2T}\int_{-T}^TX(t){\rm d}t \ . \]

進而我們可以定義該平穩過程的時間相關函數為

\[\langle X(t)X(t+\tau)\rangle=\lim_{T\to\infty}\frac{1}{2T}\int_{-T}^TX(t)X(t+\tau){\rm d}t \ . \]

類似地，我們給出如下三種參數空間的平穩過程的時間平均。如果時間參數空間是離散型的，我們可以用級數代替均方積分。

如果 \(\{X(t):t\geq0\}\) 為平穩過程，我們可以定義該過程的時間平均為

\[\langle X(t)\rangle=\lim_{T\to\infty}\frac{1}{T}\int_0^TX(t){\rm d}t \ , \quad \langle X(t)X(t+\tau)\rangle=\lim_{T\to\infty}\frac{1}{T}\int_{0}^TX(t)X(t+\tau){\rm d}t \ . \]

如果 \(\{X_n:n\geq0\}\) 是平穩過程，我們可以定義該過程的時間平均為

\[\langle X_n\rangle=\lim_{N\to\infty}\frac{1}{N}\sum_{n=1}^NX_n \ , \quad \langle X_nX_{n+k}\rangle=\lim_{N\to\infty}\frac{1}{N}\sum_{n=1}^NX_nX_{n+k} \ . \]

如果 \(\{X_n:n\in\mathbb{Z}\}\) 是平穩過程，我們可以定義該過程的時間平均為

\[\langle X_n\rangle=\lim_{N\to\infty}\frac{1}{2N+1}\sum_{n=-N}^NX_n \ , \quad \langle X_nX_{n+k}\rangle=\lim_{N\to\infty}\frac{1}{2N+1}\sum_{n=-N}^NX_nX_{n+k} \ . \]

關於時間平均和樣本平均的概念，我們需要注意一點：對於平穩過程 \(\{X(t):t\in T\}\) 而言，如果設樣本平均為 \({\rm E}(X(t))=\mu\) ，時間平均為 \(\langle X(t)\rangle=\eta\) ，則有 \(\mu\) 是一個常數，而 \(\eta\) 是一個隨機變量。

三、各態歷經性

Part 1：各態歷經性的定義

有了時間平均和時間相關函數的概念，我們回到之前的問題：是否可以用一條樣本函數信息來估計均值函數和自相關函數。

對於平穩過程 \(\{X(t):t\in T\}\) ，如果時間平均幾乎處處等於樣本平均，即

\[\langle X(t)\rangle={\rm E}(X(t))=\mu_X \ , \quad {\rm a.s.} \ , \]

則稱過程的均值具有各態歷經性。

對任意的實數 \(\tau\) ，如果時間相關函數幾乎處處等於自相關函數，即

\[\langle X(t)X(t+\tau)\rangle={\rm E}(X(t)X(t+\tau))=R_X(\tau) \ , \quad {\rm a.s.} \ , \]

則稱過程的自相關函數具有各態歷經性。

若平穩過程的均值函數和自相關函數都具有各態歷經性，則稱該平穩過程是各態歷經過程。

Part 2：均值各態歷經性定理

首先考慮連續時間平穩過程的情況，設 \(\{X(t):t\in T\}\) 的時間參數空間為 \(\mathbb{R}\) 或 \([0,\infty)\) 。

定理：設 \(\{X(t):t\in\mathbb{R}\}\) 是平穩過程，則 \(\{X(t)\}\) 的均值具有各態歷經性當且僅當

\[\lim_{T\to\infty}\frac{1}{T^2}\int_{-T}^T(T-|\tau|)\left(r_X(\tau)-\mu_X^2\right){\rm d}\tau=0 \ . \]

定理：設 \(\{X(t):t\geq0\}\) 是平穩過程，則 \(\{X(t)\}\) 的均值具有各態歷經性當且僅當

\[\lim_{T\to\infty}\frac{1}{T^2}\int_{0}^T(T-\tau)\left(r_X(\tau)-\mu_X^2\right){\rm d}\tau=0 \ . \]

推論：設 \(\{X(t):t\in T\}\) 的時間參數空間為 \(\mathbb{R}\) 或 \([0,\infty)\) ，則 \(\{X(t)\}\) 的均值具有各態歷經性當且僅當

\[\lim_{T\to\infty}\frac{1}{T}\int_{0}^T\left(r_X(\tau)-\mu_X^2\right){\rm d}\tau=0 \ . \]

推論：若 \(\lim\limits_{\tau\to\infty}r_X(\tau)\) 存在，則 \(\{X(t)\}\) 的均值具有各態歷經性當且僅當 \(\lim\limits_{\tau\to\infty}r_X(\tau)=\mu_X^2\) 。

該推論是平穩過程均值具有各態歷經性的充分條件，說明當時間間隔充分大時，若狀態呈現不相關性，則均值具有各態歷經性。

反之不一定成立，如隨機相位正弦波過程的 \(\lim\limits_{\tau\to\infty}r_X(\tau)\) 不存在，但它的均值是各態歷經的。

接下來考慮離散時間平穩過程的情況，設 \(\{X_n:n\in T\}\) 的時間參數空間為 \(\mathbb{Z}\) 或 \(\mathbb{N^*}\) 。

定理：設 \(\{X_n:n\in\mathbb{Z}\}\) 是平穩過程，則 \(\{X_n\}\) 的均值具有各態歷經性當且僅當

\[\lim_{N\to\infty}\frac{1}{N^2}\sum_{k=-N}^N(N-|k|)\left(r_X(k)-\mu_X^2\right)=0 \ . \]

定理：設 \(\{X_n:n\geq0\}\) 是平穩過程，則 \(\{X_n\}\) 的均值具有各態歷經性當且僅當

\[\lim_{N\to\infty}\frac{1}{N^2}\sum_{k=1}^N(N-k)\left(r_X(k)-\mu_X^2\right)=0 \ . \]

推論：設 \(\{X_n:n\in T\}\) 的時間參數空間為 \(\mathbb{Z}\) 或 \(\mathbb{N^*}\) ，則 \(\{X_n\}\) 的均值具有各態歷經性當且僅當

\[\lim_{N\to\infty}\frac{1}{N}\sum_{k=1}^N\left(r_X(k)-\mu_X^2\right)=0 \ . \]

推論：若 \(\lim\limits_{k\to\infty}r_X(k)\) 存在，則 \(\{X_n\}\) 的均值具有各態歷經性當且僅當 \(\lim\limits_{k\to\infty}r_X(k)=\mu_X^2\) 。

以上定理和推論的證明我們就不予討論了。

Part 3：自相關函數各態歷經性定理

將均值各態歷經性定理中的 \(X(t)\) 換成 \(X(t)X(t+h)\) 就可得到自相關函數各態歷經性定理。

定理：設 \(\{X(t):t\in\mathbb{R}\}\) 是平穩過程，對任意給定的 \(h\) ，\(\{X(t)X(t+h):t\in\mathbb{R}\}\) 也是平穩過程，

則 \(\{X(t)\}\) 的自相關函數具有各態歷經性當且僅當

\[\lim_{T\to\infty}\frac1T\int_0^T\left(B_h(\tau)-r_X^2(h)\right){\rm d}\tau=0 \ , \]

其中 \(B_h(\tau)={\rm E}\left[X(t)X(t+h)X(t+\tau)X(t+h+\tau)\right]\) 。