對於信號處理來說，有一類信號是非常重要的，這類信號就是隨機信號（random signal），也被稱為隨機過程（random processes/stochastic processes）。在各種書籍當中，似乎隨機過程（random processes）這種稱呼更為常見，因此我們下面也稱之為隨機過程。本文學習思路如下：
- 了解隨機過程及其相關的基本概念
- 提出WSS，WSS process是信號處理當中最重要的一種隨機過程
- 為了方便進行隨機過程的分析，我們引入了ergodicity，假設一個隨機過程為ergodic會有助於我們進行隨機過程分析
Definition of A Random Process
在之前隨機變量的文章中，我們引入了隨機變量，隨機變量把實驗（experiment）的輸出（outcome）映射到數字，以便進行數學上的運算，而更重要的是，隨機變量都會有它自己的PDF/PMF，而PDF/PMF展示出了該實驗的可能性的輸出，以及各個輸出的概率。
采用與隨機變量相同的思想，那么從總體上看，隨機過程可以表示為：列出隨機過程所有可能的輸出以及每個輸出對應的概率。假設隨機過程$X(t)$有$N$個可能的輸出，分別$x_1(t),x_2(t),\cdot\cdot\cdot,x_N(t)$，這些輸出都是確定的（非隨機的）信號，我們稱這些輸出為realization，而各個輸出的的概率為$p_1,p_2,\cdot\cdot\cdot,p_N$，這些概率之和為1。通常有$N=\infty$。
如果專注於隨機過程在某個時間點上的值，那么這個這個值就是一個隨機變量：
- 一個連續時間的隨機過程$X(t)$，在任意時刻$t_0$所對應的值都是一個隨機變量$X(t_0)$
- 一個離散時間的隨機過程$X[n]$，在任意序號$n_0$所對應的值都是一個隨機變量$X[n_0]$
也就是說，隨着$t$或者$n$的變化，隨機過程可以得到不同的隨機變量。
比如說有一個隨機過程$X(t)$，時間點位於$t_1,t_2,\cdot\cdot\cdot,t_{\ell}$上的值分別為隨機變量$X(t_1),X(t_2),\cdot\cdot\cdot,X(t_{\ell})$。此時可以用Joint PDF來表示這$\ell$個隨機變量的概率狀況。
$f_{X(t_1),X(t_2),\cdot\cdot\cdot,X(t_{\ell})}(x_1,x_2,\cdot\cdot\cdot,x_{\ell})$
那么整個隨機過程就可以看作是用$t$或者$n$作為索引的無限多個隨機變量的聯合分布。
Mean,Correlation,Covariance
由前文可知，隨機過程在不同的時間點會有不同的隨機變量，那么對於這些隨機變量，我們就能套用概率模型的相關定義
$\begin{align*}
&Mean/Expectation:&\mu_X(t_i) &= E[X(t_i)]\\
&Auto-correlation:&R_{XX}(t_i,t_j)&=E[X(t_i)X(t_j)]\\
&Auto-covariance:&C_{XX}(t_i,t_j) &= E[X(t_i)-\mu_X(t_i)]E[X(t_j)-\mu_X(t_j)]\\
& & &=R_{XX}(t_i,t_j)-\mu_X(t_i)\mu_X(t_j)
\end{align*}$
上面的式子分別為：
- 隨機過程$X(t)$位於時間點$t_i$上的期望
- 隨機過程$X(t)$位於時間點$t_i$以及$t_j$上的隨機變量之間的相關性，Auto代表這兩個隨機變量出自同一個隨機過程
- 隨機過程$X(t)$位於時間點$t_i$以及$t_j$上的隨機變量之間的協方差
此外，相關性以及協方差也能應用在不同的隨機過程上
$\begin{align*}
&Cross-correlation:&R_{XY}(t_i,t_j)&=E[X(t_i)Y(t_j)]\\
&Cross-covariance:&C_{XY}(t_i,t_j) &= E[X(t_i)-\mu_X(t_i)]E[Y(t_j)-\mu_Y(t_j)]\\
& & &=R_{XY}(t_i,t_j)-\mu_X(t_i)\mu_Y(t_j)
\end{align*}$
上面的式子分別為：
- 隨機過程$X(t)$位於時間點$t_i$上的隨機變量與隨機過程$Y(t)$位於時間點$t_j$上的隨機變量之間的相關性，Cross代表這兩個隨機變量出自不同的隨機過程
- 隨機過程$X(t)$位於時間點$t_i$上的隨機變量與隨機過程$Y(t)$位於時間點$t_j$上的隨機變量之間的協方差
假設從隨機過程$X(t)$中采樣得到的隨機變量所組成的集合為$S_X = \Big\{X(t_1),X(t_2),\cdot\cdot\cdot,X(t_k)\Big\}$，從隨機過程$Y(t)$中采樣所得到的隨機變量所組成的集合為$S_Y=\Big\{Y(t_1'),Y(t_2'),\cdot\cdot\cdot,Y(t_{\ell})\Big\}$，如果所有的$S_X$與$S_Y$都相互獨立，則稱這兩個隨機過程相互獨立。用Joint PDF表示如下：
$\begin{align*}&\qquad f_{X(t_1),\cdot\cdot\cdot,X(t_k),Y(t_1'),\cdot\cdot\cdot,Y(t_{\ell}')}(x_1,\cdot\cdot\cdot,x_k,y_1,\cdot\cdot\cdot,y_{\ell})\\ &=f_{X(t_1),\cdot\cdot\cdot,X(t_k)}(x_1,\cdot\cdot\cdot,x_k)\cdot f_{Y(t_1'),\cdot\cdot\cdot,Y(t_{\ell}')}(y_1,\cdot\cdot\cdot,y_{\ell})
\end{align*}$
如果隨機過程$X(t)$與$Y(t)$相互獨立的話，那么隨機變量$X(t_i)$與$Y(t_j)$也會相互獨立，那么就有$R_{XY}(t_i,t_j) = \mu_X(t_i)\mu_Y(t_j)$，因此$C_{XY}(t_i,t_j)=0$。
Ensemble
Ensemble是隨機過程中經常出現的一個概念，英文直譯過來的意思就是全體/總體。我們這一小節主要目的是厘清ensemble相關的概念。
Ensemble of Signals
下面一句話是對隨機過程中Ensemble of signals的定義：
Ensemble of Signals The collection of signals that can be produced by the random process is referred to as the ensemble of signals in the random process.
信號集 隨機過程所能產生的信號的集合，我們稱之為隨機過程的信號集。
也就是說一個隨機過程的所有realization的集合就是這個隨機過程的信號集。
Ensemble Member
Ensemble Member指的是這個集合內的成員，在隨機過程中指的就是realization。
Ensemble Average
Ensemble Average就是把隨機過程中所有的realization相加然后求平均。
$\displaystyle{\mu_X(t) = E\{X(t)\} = \sum_{n=1}^{\infty}x_n(t)}$
其中$x_n(t)$就是隨機過程$X(t)$中的realization。
Strict-Sense Stationarity
Definition of SSS
對於任意值$k$，以及$k$個任意時間點$t_1,\cdot\cdot\cdot,t_k$，隨機過程$X(t)$在這$k$個時間點上所采樣得到的隨機變量分別為$X(t_1),\cdot\cdot\cdot,X(t_k)$，這$k$個隨機變量所組成的Joint PDF為
$f_{X(t_1),\cdot\cdot\cdot,X(t_k)}(x_1,\cdot\cdot\cdot,x_k)$
這個Joint PDF的值取決於我們在隨機過程$X(t)$上所選擇的采樣點$t_1,\cdot\cdot\cdot,t_k$。我們對這$k$個采樣點進行大小為$\tau$的位移，有$t_1+\tau,\cdot\cdot\cdot,t_k+\tau$，那么此時在隨機過程$X(t)$上所采樣得到的隨機變量為$X(t_1+\tau),\cdot\cdot\cdot,X(t_k+\tau)$，這些隨機變量所組成的Joint PDF為
$f_{X(t_1+\tau),\cdot\cdot\cdot,X(t_k+\tau)}(x_1,\cdot\cdot\cdot,x_k)$
如果對於任意的$\tau$，都有
$f_{X(t_1),\cdot\cdot\cdot,X(t_k)}(x_1,\cdot\cdot\cdot,x_k)=f_{X(t_1+\tau),\cdot\cdot\cdot,X(t_k+\tau)}(x_1,\cdot\cdot\cdot,x_k)$
則稱該隨機過程是Strict-Sense Stationarity（SSS），中文稱為強平穩。
i.i.d. process
independent and identically distributed（i.i.d.）process就是一個很常見的SSS隨機過程。其中
- independent代表該隨機過程內所有時間點上隨機變量都相互獨立
- identically distributed代表該隨機過程的所有時間點上的隨機變量的PDF都完全一致
對於一個i.i.d. process，假設該process內的隨機變量的PDF都為$f_X(x)$，那么這些隨機變量的Joint PDF為
$f_{X(t_1),x(t_2),\cdot\cdot\cdot,X(t_k)}(x_1,\cdot\cdot\cdot,x_k)=f_X(x_1)f_X(x_2)\cdot\cdot\cdot f_X(x_k)$
同樣也有
$f_{X(t_1+\tau),X(t_2+\tau),\cdot\cdot\cdot,X(t_k+\tau)}(x_1,\cdot\cdot\cdot,x_k)=f_X(x_1)f_X(x_2)\cdot\cdot\cdot f_X(x_k)$
因此i.i.d. process是SSS的。
在離散時間信號傳輸過程中出現的加性噪聲（added noice）就是一個i.i.d. process。
Wide-Sense Stationarity
Definition of WSS
Wide-Sense Stationarity（WSS）又被稱為Weak-Sense Stationarity，中文叫做弱平穩。一個WSS的隨機過程需要滿足兩個條件：
- 隨機過程在任意采樣點上的隨機變量的expectation都與時間無關，即$\mu_X(t) = \mu_X$
- 隨機過程在任意兩個采樣點上的隨機變量的correlation/covariance都只與這兩個采樣點之間的時間差相關，與它們所處的位置無關，即
$\begin{align*}R_{XX}(t_1,t_2) &= R_{XX}(t_1+\alpha,t_2+\alpha) \quad for\ every\ \alpha\\&= R_{XX}(t_1-t_2, 0)\end{align*}$
$\begin{align*}C_{XX}(t_1,t_2) &= C_{XX}(t_1+\alpha,t_2+\alpha) \quad for\ every\ \alpha\\&= C_{XX}(t_1-t_2, 0)\end{align*}$
同時，從第二個條件能引申出：隨機過程在任意采樣點上的隨機變量的variance都與時間無關：
$\begin{align*}C_{XX}(t,t) &= C_{XX}(t+\alpha,t+\alpha) \quad for\ every\ \alpha\\&= C_{XX}(0, 0)\\&=\sigma_X^2\end{align*}$
Jointly WSS
如果要表示兩個隨機過程$X(t)$與$Y(t)$之間的平穩狀況，可以用Jointly WSS（聯合弱平穩）。Jointly WSS除了要求兩個隨機過程都是WSS之外，還需要它們滿足
$\begin{align*}R_{XY}(t_1,t_2) &= R_{XY}(t_1+\alpha,t_2+\alpha) \quad for\ every\ \alpha\\&= R_{XY}(t_1-t_2, 0)\end{align*}$
Simplify the Notation
對於WSS的隨機過程，由於correlation以及covariance只與所選擇的采樣點的時間差相關，因此我們可以進行符號簡化。令$\tau = t_1-t_2$，即$R_{XX}(t_1,t_2) = R_{XX}(t_2+\tau, t_2)$，我們簡化成$R_{XX}(\tau)$。我們這里再用小寫的$x(t)$來表示隨機過程$X(t)$（When considering just first and second moments and not entire PDFs or CDFs, it will be less important to distinguish between the random process X(t) and a specific realization x(t) of it — so we shall go one step further in simplifying notation, by using lower case letters to denote the random process itself.），因此correlation可以簡化為
$\color{red}{R_{xx}(\tau) = E\Big\{x(t+\tau)x(t)\Big\}}$
covariation可以簡化為
$\color{red}{C_{xx}(\tau) = E\Big\{x(t+\tau)x(t)\Big\}-\mu_x^2}$
Properties of WSS Correlation and Covariance
利用$R_{xx}(\tau)$以及$C_{xx}(\tau)$的定義很容易證明以下性質。
$\begin{align*}
R_{xx}(\tau) = R_{xx}(-\tau), \qquad\qquad C_{xx}(\tau)=C_{xx}(-\tau)\\
R_{xy}(\tau) = R_{yx}(-\tau), \qquad\qquad C_{xy}(\tau)=C_{yx}(-\tau)
\end{align*}$
兩個隨機變量的相關系數為$|\rho| = \left|\frac{C_{xx}(\tau)}{\sigma_t\sigma_{t+\tau}}\right|\leq 1$，又因為在WSS隨機過程中$\sigma_t=\sigma_{t+\tau}=\sigma_x$，所以把分式的分母移到不等號的另一邊就能得到下面性質
$-C_{xx}(0)\leq C_{xx}(\tau)\leq C_{xx}(0)$
把第二條性質的三個項都加上$\mu_x^2$就能得到下面的這第三條性質
$-R_{xx}(0)+2\mu_x^2\leq R_{xx}(\tau) \leq R_{xx}(0)$
Ergodicity
在討論ergodicity的定義前，我們先了解一下引入ergodicity的原因：
- 在實際應用中，我們通常都是得到隨機過程的輸出，並對隨機過程的輸出進行分析處理。
- 隨機過程通常有太多可能性的輸出（realization），因此我們也不可能對所有的輸出都一一進行分析。
因此，如果隨機過程的一個輸出就能表達出該隨機過程的大部分特性的話，在對該隨機過程進行分析時將會更加有效快捷。
If the random process is such that the behavior of almost every particular realization over time is representative of the behavior down the ensemble, then the process is called ergodic.
如果一個隨機過程的所有realization在時域上所表現出來的特性可以代表該隨機過程的總體特性的話，那么該隨機過程就被稱為ergodic。
在眾多類型的隨機過程當中，我們主要關注的就是WSS，這也是信號處理中最常見的隨機過程。因此我們這里討論的就是WSS的兩個特性：expectation、correlation。
WSS隨機過程的ensemble average是一個固定值，該隨機過程的所有realization的時域expectation也同樣等於該固定值，即
$\displaystyle{\color{red}{E\{x(t)\}}=\sum_{n=1}^{\infty}x_n(t) =\color{red}{ \lim_{T\to \infty}\frac{1}{2T}\int_{-T}^{T}x(t)dt} =\mu_x}$
上述式子內的$E\{x(t)\}$中的$x(t)$代表的是隨機過程，式子內其余的$x(t)$是realization。
而correlation原本是兩個隨機變量乘積的期望，即$R_{xx}(\tau) = E\{x(t)x(t+\tau)\}$。而如果所面對的是一個ergodic隨機過程的話，那么該隨機過程的correlation可以用其realization乘以時移realization的所得到的值的expectation進行代替，即
$\color{red}{\displaystyle{R_{xx}(\tau) = \lim_{T\to\infty}\frac{1}{2T}\int_{-T}^{T}x(t)x(t+\tau)dt}}$
上面式子中，等號右邊的$x(t)$代表的是realization。
雖然要證明一個隨機過程是ergodic是非常困難的，不過ergodicity在進行隨機過程分析時卻是相當方便的，所以我們在實際應用中常假設隨機變量為ergodic再展開分析。
Reference：
Alan V. Oppenheim: Signals, Systems and Inference, Chapter 9:Random Process