第一講 隨機過程的基本概念
一、隨機過程的定義
Part 1：隨機變量
在介紹隨機過程之前，我們先回憶一下隨機變量是如何定義的。這一部分是概統中的內容，在這里我們主要對一些有用的概念做一個簡單的回顧。
在概率論中的一個基本概念是隨機試驗，這種試驗的結果不能預先確定。一個隨機試驗所有可能的基本結果的集合稱為此試驗的樣本空間，記為 \(S\) 。隨機變量就是定義在樣本空間 \(S\) 上的實值單值函數，它給樣本空間 \(S\) 中的每一個結果都指定了一個實數值與之對應。
隨機變量的定義：設隨機試驗的樣本空間為 \(S\) ，若 \(X=X(e)\) 為定義在樣本空間 \(S\) 的實值單值函數，則稱 \(X=X(e)\) 為隨機變量。這里的 \(e\in S\) 代表樣本空間的元素，稱為樣本點。
用映射的方式，我們可以將隨機變量表示為 \(X(e):S\to \mathbb{R}\) 。
Part 2：隨機過程
隨機過程是一族隨機變量，主要用於描述隨時間變化的隨機現象。
隨機過程的定義：設 \(S\) 是樣本空間，\(T\subset\mathbb{R}\) ，如果對 \(\forall t\in T\) ，\(X(t)\) 是 \(S\) 上的隨機變量，則稱 \(\{X(t):t\in T\}\) 是 \(S\) 上的隨機過程，稱 \(T\) 為時間參數空間。
用映射的方式，我們可以將隨機過程表示為 \(X(t,e):T\times S\to\mathbb{R}\) 。可以看出，隨機過程是一個二元實值單值函數。不過這樣的定義未免有些抽象，比較容易的理解方式是單獨考慮每個參數。
- 任意給定 \(t\in T\) ，則有 \(X(t,\cdot)\) 是 \(S\to\mathbb{R}\) 上的函數，即為 \(S\) 上的隨機變量，其含義為隨機過程在 \(t\) 時刻的狀態。
- 任意給定 \(e\in S\) ，則有 \(X(\cdot,e)\) 是 \(T\to\mathbb{R}\) 上的函數，稱為隨機過程的樣本軌道或樣本曲線，其含義為隨機過程在 \(T\) 上的一次實現。
我們將 \(X(t)\) 的所有可能取值的全體稱為狀態空間，記為 \(I\) 。根據時間參數空間 \(T\) 和狀態空間 \(I\) 的不同類別，我們可以將隨機過程分為以下四種情況：離散時間離散狀態的隨機過程、離散時間連續狀態的隨機過程、連續時間離散狀態的隨機過程、連續時間連續狀態的隨機過程。
二、有限維分布和數字特征
Part 1：有限維分布
由於隨機過程在任一時刻的狀態都是隨機變量，因此我們可以也利用概率分布和數字特征來刻畫一個隨機過程的統計性質。首先我們介紹隨機過程的概率分布，這里我們需要引入有限維分布的概念。
一維分布函數：給定隨機過程 \(\{X(t):t\in T\}\) ，對於每一個固定的 \(t\in T\) ，隨機變量 \(X(t)\) 的分布函數一般與 \(t\) 有關，記為
稱為隨機過程 \(\{X(t):t\in T\}\) 的一維分布函數。當 \(t\) 取遍 \(T\) 中的所有元素時，我們可以得到一系列的分布函數，將這些分布函數的全體所構成的集合稱為一維分布函數族，記為 \(\left\{F_X(x;t):t\in T\right\}\) 。一維分布函數族刻畫了隨機過程在各個單獨時刻的統計特性。
二維分布函數：對於固定的 \(s,t\in T\) ，將二元隨機變量 \((X(s),\,X(t))\) 的聯合分布函數記為
稱為隨機過程 \(\{X(t):t\in T\}\) 的二維分布函數。
\(n\) 維分布函數：為了描述隨機過程在不同時刻狀態之間的關系，對任意 \(n\) 個不同時刻 \(t_1,t_2,\cdots,t_n\in T\) 引入 \(n\) 維隨機變量 \((X(t_1),X(t_2),\cdots,X(t_n))\) 的分布函數，記為
稱為隨機過程 \(\{X(t):t\in T\}\) 的 \(n\) 維分布函數。對於固定的 \(n\) ，類似地我們將所有 \(n\) 維分布函數所構成的集合稱為 \(n\) 維分布函數族，記為 \(\{F_{t_1,t_2,\cdots,t_n}(x_1,x_2,\cdots,x_n):t_i\in T,i=1,2,\cdots,n\}\) 。當 \(n\) 充分大時，\(n\) 維分布函數能夠近似地描述隨機過程的統計性質。我們把所有可能的 \(n\) 維分布統稱為有限維分布。
如果我們進一步地讓 \(n\) 取遍所有正整數，把任意維分布函數族的元素都放在一起，便可以得到一個更大的集合。這就是隨機過程 \(\{X(t):t\in T\}\) 的有限維分布函數族，記為
為了便於理解，我們可以將有限維分布函數族用集合的並表示：
Kolmogorov 定理：有限維分布函數族完全地確定了隨機過程的統計性質。
以上就是關於隨機過程的概率分布的內容，從概念上理解較為抽象，需要結合題目加以練習。這里需要強調一點，隨機過程在不同的時間點的隨機變量不一定獨立，其聯合分布需要根據具體過程的性質加以計算。
Part 2：數字特征
Kolmogorov 定理可以告訴我們，一個隨機過程的有限維分布函數族包含了關於這個隨機過程的所有信息。但在實際工作中，我們很難確定一個隨機過程完整的有限維分布函數族，因此我們需要引入某些數字特征來反映隨機過程的主要性質。一般地，隨機過程的數字特征是定義在時間參數空間 \(T\) 上的函數。
對於隨機過程 \(\{X(t):t\in T\}\) ，我們主要研究它的均值函數、方差函數、自協方差函數和自相關函數。這里我們也會介紹一些由這些數字特征誘導出來的其他數字特征，例如均方函數和標准差函數。
-
均值函數：\(\mu_X(t)={\rm E}[X(t)]\) 。
-
二階矩函數：\(\psi_X^2(t)={\rm E}\left[X(t)\right]^2\) 。
-
方差函數：\(\sigma_X^2(t)={\rm Var}(X(t))\) 。
-
標准差函數：\(\sigma_X(t)=\sqrt{\sigma_X^2(t)}\) 。
-
自相關函數：\(r_X(s,t) ={\rm E}[X(s)X(t)]\) 。
-
自協方差函數：\(C_X(s,t) ={\rm Cov}(X(s),X(t))\) 。
利用期望、方差和協方差的運算性質，我們可以得到隨機過程的數字特征之間的關系：
- 二階矩函數和自相關函數具有如下關系：
- 方程函數和自協方差函數具有如下關系：
- 自協方差函數和自相關函數具有如下關系：
- 自相關函數和自協方差函數是對稱函數：
Part 3：特殊隨機過程
在隨機過程的數字特征中，我們關注最多的就是均值函數和自協方差函數。一方面是因為其他的數字特征都可以由均值函數和自協方差函數誘導得出，另一方面是因為均值函數和自協方差函數已經概括了隨機過程較為核心的性質。我們從這兩個數字特征出發，介紹一些特殊的隨機過程。
二階矩過程：如果對每一個 \(t\in T\) ，隨機過程 \(\{X(t):t\in T\}\) 的二階矩 \({\rm E}[X(t)]^2\) 都存在，則稱該隨機過程為二階矩過程。這里二階矩 \({\rm E}[X(t)]^2\) 存在的含義是 \({\rm E}\left[X(t)\right]^2<\infty\) 。可以證明，二階矩過程的均值函數、方差函數、自相關函數和自協方差函數都是存在的。
正態過程：對於隨機過程 \(\{X(t):t\in T\}\) ，如果它的每一個有限維分布都是正態分布，則稱該隨機過程為正態過程或高斯過程。正態過程是一種特殊的二階矩過程。正態過程的統計性質完全由它的均值函數和自協方差函數所確定，即正態過程的有限維分布完全由它的均值函數和自協方差函數所確定。
白噪聲過程：設隨機過程 \(\{X(t):t\in T\}\) 是零均值隨機過程，如果對任意的 \(s\neq t\) 都有 \(r_X(s,\,t)=0\) ，則稱該隨機過程是白噪聲過程。
三、二維隨機過程
Part 1：二維隨機過程
在實際問題中，我們有時需要研究兩個或兩個以上隨機過程及它們之間的統計關系。除了單獨研究各個隨機過程的統計性質之外，還需要將幾個隨機過程作為整體，進一步研究其統計性質。這里我們主要討論一下二維隨機過程的定義和隨機過程的獨立性。
二維隨機過程的定義：設 \(\{X(t):t\in T\}\) 和 \(\{Y(t):t\in T\}\) 是依賴於同一時間參數 \(t\in T\) 的隨機過程，對於任意的 \(t\in T\) ，都有 \((X(t),Y(t))\) 是二維隨機向量，則稱 \(\{(X(t),Y(t)):t\in T\}\) 為二維隨機過程。
隨機過程的獨立性：對於隨機過程 \(\{X(t):t\in T\}\) 和 \(\{Y(t):t\in T\}\) ，如果對任意的正整數 \(n\) 和 \(m\) 以及任意的實數 \(t_1,t_2\cdots,t_n\in T\) 和 \(t_1',t_2',\cdots,t_m'\in T\) ，都有 \(n\) 維隨機向量 \((X(t_1),X(t_2),\cdots,X(t_n))\) 和 \(m\) 維隨機向量 \((Y(t_1'),Y(t_2'),\cdots,Y(t_m'))\) 相互獨立，則稱隨機過程 \(\{X(t)\}\) 和 \(\{Y(t)\}\) 相互獨立。
Part 2：二維隨機過程的數字特征
二維隨機過程的統計性質同樣可以用概率分布和數字特征來刻畫，由於二維隨機過程的有限維分布並不常用，且在實際問題中往往很難求出，因此我們只介紹二維隨機過程的數字特征。關於數字特征，除了每個隨機過程各自的均值函數和自相關函數之外，我們還需要引入互相關函數和互協方差函數，用來刻畫一個二維隨機過程中的兩個隨機過程之間的關系。
- 互相關函數：\(r_{XY}(s,t)={\rm E}\left[X(s)Y(t)\right]\) 。
- 互協方差函數：\(C_{XY}(s,t)={\rm Cov}(X(s),Y(t))\) 。
隨機過程的相關性：對於隨機過程 \(\{X(t):t\in T\}\) 和 \(\{Y(t):t\in T\}\) ，如果對任意的 \(s,t\in T\) ，都有 \(C_{XY}(s,t)=0\) ，則稱隨機過程 \(\{X(t)\}\) 和 \(\{Y(t)\}\) 不相關。
一般地，如果隨機過程 \(\{X(t)\}\) 和 \(\{Y(t)\}\) 不相關，不能推出它們相互獨立。但如果隨機過程 \(\{X(t)\}\) 和 \(\{Y(t)\}\) 相互獨立，且隨機過程 \(\{X(t)\}\) 和 \(\{Y(t)\}\) 都是二階矩過程，則一定有它們不相關。
最后需要強調一點，在使用兩個隨機過程 \(\{X(t)\}\) 和 \(\{Y(t)\}\) 的互相關函數和互協方差函數之前，需要保證每個隨機過程自身都是二階矩過程，即對每一個 \(t\in T\) 都有 \({\rm E}\left[X(t)\right]^2<\infty\) 和 \({\rm E}\left[Y(t)\right]^2<\infty\) 。