隨機過程筆記1：相關函數

b站張顥老師隨機過程筆記。建議先修課程：概率論，矩陣論或線性代數，高等數學。

由於張顥老師似乎是教電子的，里面的很多舉例和信號相關，可以根據自己的實際來看，或者看看信號與系統。

目錄

• 隨機過程（Stochastic Process）
  • 1.相關函數
    • 線性相關
    • 相關、不相關和獨立
    • 相關系數
    • 相關函數
  • 2.從相關到隨機過程
    • 相關
    • 隨機過程

隨機過程（Stochastic Process）

一組隨機變量，着眼於隨機變量之間的關聯，t只是一個index不一定是時間，t是兩維就是隨機場

• Correlation(linear)：相關

  • 時域 Time Domain：相關函數 correlation function

  • 頻域 Frequency Domain：功率譜密度 Spectrum

  • 典型的相關過程：高斯過程 Gaussian Process

• Markov Property

  • 離散時間

  • 連續時間

  • 典型的馬爾可夫過程：泊松過程 Poisson Process

• Martingale

  • Optional Theorem

1.相關函數

線性相關

對於多個隨機變量的關系研究，最開始是聯合概率密度。對於隨機變量 x,y。聯合分布Joint Distribution

\(f_{x,y}(x,y)=\frac{\partial^{2}}{\partial x\partial y}F_{x,y}(x,y)\)

\(F_{x,y}(x,y)=P(X\leq x,Y\leq y)\)

從圖像看相關性：看一個變量發生變化時，另外一個變量的分布或者概率是否發生變化

相關系數：對於線性相關，相關系數越大，相關性越高，對於二維變量，其圖像表現得越細窄

我們試圖建立兩個隨機變量的線性關系 \(Y=\alpha X\)，但是這樣忽略了變量的變化是有范圍的，不是單純的線性關系，可以將其擴展為\(E(Y-\alpha X)^{2}\)，即均方誤差（mean square error）。對於\(\alpha\)，由於希望找到\(\min\limits_{\alpha}E(Y-\alpha X)^{2}\)，則\(\alpha_{opt}=\frac{E(XY)}{E(X^{2})}\)。上面的部分更關鍵。

相關、不相關和獨立

• 相關\(E(XY)\)

• 去中心化的相關\(E[(X-EX)(Y-EY)]=E(XY)-E(XEY)-E(YEX)-EXEY=E(XY)-EXEY\)，減去了一個常數，兩者不再區分。

• 不相關 Uncorrelated：\(E(XY)=0\) 或者 \(E(X-EX)E(Y-EY)=0\)，即\(E(XY)=EXEY\)。是線性的關系不存在，可能存在其他關系

• 獨立：更強

相關系數

一個重要的理解：幾何上的理解 Geometric View，看作是一種內積 \(E(XY)=<X,Y>\)

內積滿足：對稱性，非負性，雙線性性（雙變量各自滿足線性性）

內積量化成角度：\(cos<x,y>=\frac{<x,y>}{(<x,x><u,y>)^{\frac{1}{2}}}\)

隨機變量的相關對應到線性空間里兩個矢量的夾角：Randow Variable to Vector

flowchart LR A[相關]-->|幾何角度|B[內積]-->|量化|C[夾角]

由此，將線性空間內的夾角擴展到隨機變量的相關系數有\(cos=\frac{E(XY)}{(EX^2EY^2)^{\frac{1}{2}}}\)

這里的\(EX^2\)是\(E(X^{2})\)

根據Cauchy-Schwars不等式，保證\(-1\leq cos\leq 1\)

Cauchy-Schwars的不同形式：

1. \(|\sum\limits_{k}x_{x}y_{k}|\leq(\sum\limits_{k}x^{2}_{k})^{\frac{1}{2}}(\sum\limits_{k}y^{2}_{k})^{\frac{1}{2}}\)

2. \(\int f(x)g(x)dx\leq (\int f^{2}(x)dx\int g^2(x)dx)^{\frac{1}{2}}\)

3. 一般形式：\(|<x,y>|\leq|<x,x><y,y>|^{\frac{1}{2}}\)

都是內積。反映測不准原理。

有了幾何上的理解，對於兩個隨機變量X，Y，在線性空間有夾角\(\theta\)，計算Y在X上的投影，則有\(||Y||cos(\theta)\frac{X}{||X||}=(\frac{||Y||}{||X||}cos(\theta))X\)，由於\(\frac{||Y||}{||X||}\frac{E(XY)}{||X||||Y||}=\frac{E(XY)}{EX^2}=\alpha\)，所以Y在X上的投影為\(\alpha X\)，和上面的\(\alpha\)一致（上面沒有寫代數上的推導）

相關函數

相關函數 Correlation Funtion，定義在隨機過程上

• Auto自相關：\(R_{X}(t,s)=E(X(t)X(s))\)，Binary二元的。性質

  • 對稱性：\(R_{X}(t,s)=R_{X}(s,t)\)
  • 非負性：\(R_X(t,t)=E(X^2(t))\geq 0\)，對角線上是非負的
  • 滿足Cauchy-Schwars不等式：\(|R_{X}(t,s)|\leq (R_{X}(t,t)R_{X}(s,s))^{\frac{1}{2}}\)

  特點來自於相關運算，即內積

  由於這樣的相關還是二元的，希望把它轉化成一元的，因此，我們需要做一個假設，即平穩性。

  證明過程：

  \(g(\alpha)=<\alpha x+y,\alpha x+y>=<x,x>\alpha^2+2<x,y>\alpha+<y,y>\)

• Invariance to Stationary（平穩性）：平穩性是一種不變特征，指隨機過程的某一類統計特性隨着時間變化而保持不變的特性

  • 寬平穩

    1. 均值不變，是常數：\(E[X(t)]=m(t)=m\)

    2. 相關函數滿足\(R_X(t,s)=R_X(t+D,s+D),\forall D \in \mathbb{R}\)，這時相關函數只與兩個時刻的差值有關，即\(R_X(t,s)=R_X(t-s)=R_X(\tau)\)，而和時刻的具體位置無關。相關函數變成了一元的了。

    1. 搞清楚什么是確定的，什么是隨機的
    2. 因此更加關注上面的第二條。

    3. 此時相關函數的性質：

    • 對稱性：\(R_X(\tau)=R_X(-\tau)\)。即寬平穩情況下相關函數是偶函數

    • 柯西不等式：\(|R_X(\tau)|\leq R_X(0)\)

    • Positive Definite正定性：

      矩陣正定：\(A\in \mathbb{R}^{n\times n},\alpha \in \mathbb{R}^n,\alpha^TA\alpha \geq 0\)

      函數正定：函數\(f(x)\)正定，即任取n個變量\(x_1,x_2,...,x_n\)，構成矩陣的\(A=(a_{ij})_{n\times n},a_{ij}=f(x_i-x_j)\)正定

      • 若正定，則\(R_X(0)\geq0\)。取1個變量，則\(A=|R_X(x_1-x_1)|\)，一個元素，\(R_X(x_1-x_1)=R_X(0)\geq0\)
      • 若正定，則一定滿足柯西不等式\(|R_X(\tau)|\leq R_X(0)\)。取兩個變量\(x_1=0,x_2=\tau\)，則有矩陣
      \[A= \begin{pmatrix} R_X(x_1-x_1) & R_X(x_1-x_2)\\ R_X(x_2-x_1) & R_X(x_2-x_2) \end{pmatrix} = \begin{pmatrix} R_X(0) & R_X(-\tau)\\ R_X(\tau) & R_X(0) \end{pmatrix} \geq0 \]

      ​ 因為，正定矩陣對稱，所以\(R_X(\tau)=R_X(-\tau)\)。柯西不等式也因行列式為正可得。

      • 驗證正定：任取n個時刻，有\(\tau_1,\tau_2,...,\tau_n\)，構成矩陣\(A=(f(x_i-x_j))_{ij}\geq 0\)。任取\(\alpha \in \mathbb{R}^n,\alpha = (\alpha_1,...,\alpha_n)^T\)。計算

        \[\begin{aligned} \alpha ^TA\alpha &=\sum_{i=1}^n\sum_{j=1}^nR_X(\tau_i-\tau_j)\alpha_i\alpha_j\\ &=\sum_{i=1}^n\sum_{j=1}^nE[X(\tau_i)X(\tau_j)]\alpha_i\alpha_j\\ &=E[\sum_{i=1}^n\sum_{j=1}^nX(\tau_i)X(\tau_j)\alpha_i\alpha_j](因為此處\alpha沒有隨機性)\\ &=E[\sum_{i=1}^nX(\tau_i)\alpha_i]^2\geq0(最后一步化簡可能比較難理解，注意這里不是E[\sum_{i=1}^n(X(\tau_i)\alpha_i)^2] \end{aligned} \]

        相關矩陣Correlation Matrix。下面是正定證明的另一種寫法。

        \(X=(X(\tau_1),...,X(\tau_n))^T,(R_X(\tau_i-\tau_j))_{ij}=E(XX^T)=R\)

        \(\alpha^TR\alpha=\alpha^TE(XX^T)\alpha=E(\alpha^TXX^T\alpha)=E(\alpha^TX)^2\)

      • 相關函數是正定函數，這是其特征性質Characteristic Property，即充分必要。正定函數一定是相關函數，任何一個正定函數一定能找到某個隨機過程，使得該正定函數是其相關函數。

    4. 如果有\(R(0)=R(\tau),\tau\neq0\)，則一定能推斷出\(R(\tau)=R(\tau+T)\)，即相關函數一定是周期的。

    驗證：

    均方周期性mean square Periodic

    \[\begin{aligned} E|X(\tau+T)-X(\tau)|^2&=E[X^2(\tau+T)]+E[X^2(\tau)]-2E[X(\tau+T)X(\tau)]\\ &=2R_X(0)-2R_X(T)=0\\ |R(\tau+T)-R(\tau)|&=|E[X(\tau+T)X(0)]-E[X(\tau)X(0)]|\\ &=|E[X(0)(X(\tau+T)-X(\tau))]|\\ &\leq (E[X^2(0)]E|X(\tau+T)-X(\tau)|^2)^\frac{1}{2}=0 \end{aligned} \]

    5. 是否存在Rectangle Window（矩形窗）一樣的相關函數？不存在。
       1. 相關函數的一個特性：相關函數在0點連續，則在任意點連續（局部--->總體，來源於平穩的特點）
       2. 不是正定的，因為傅里葉函數不是正的，不是相關函數
    6. 三角波是否是相關函數？是。
       1. 時域卷積為頻域乘積。則傅里葉變換為正，故正定，是相關函數

    證明1：

    兩個隨機變量之間的距離，是均方距離mean square distance ，進而推廣到隨機極限（滿足范數的定義：非負性、對稱性、三角不等式（通過柯西不等式可推導））

    均方連續性mean square continuous

    \[\begin{aligned} &E|X(\tau+\Delta)-X(\tau)|^2 =2R_X(0)-2R_X(\Delta)\\ &因為在0點連續，因此 \lim_{\Delta\rightarrow0}E|X(\tau+\Delta)-X(\tau)|^2=0\\ &|R(\tau+\Delta)-R(\tau)|\leq(E[X^2(0)]E|X(\tau+\Delta)-X(\tau)|^2)^\frac{1}{2}=0\\ &因此\lim_{\Delta\rightarrow0}|R(\tau+\Delta)-R(\tau)|=0 \end{aligned} \]

    證明2：

    Bochner指出：一個函數是正定的，當且僅當該函數的傅里葉變換是正的。（這里提供了頻域研究的思路，而寬平穩是可以做頻域分析的）

    \[f(x)\ is\ P.d\Leftrightarrow\int_{-\infty}^{+\infty}f(x)e^{-j\omega x}dx\geq0 \]

    矩形窗的傅里葉變換是Sa函數，不滿足條件。

    下面驗證Bochner提出的那句話：

    已知\(F(\omega)=\int_{-\infty}^{+\infty}f(x)e^{-j\omega x}dx\geq0\)。證明：\(f(x)=\frac{1}{2\pi}\int_{-\infty}^{+\infty}F(\omega)e^{j\omega x}d\omega\)正定。

    先看\(g(x)=e^{j\omega x}\)：即\(\forall x_1,x_2,...,x_n.(e^{j\omega(x_i-x_j)})_{ij}=B,\forall \alpha\in C^n\Rightarrow\alpha^HB\alpha\geq0\)

    \[\begin{aligned} \alpha^HB\alpha&=\sum_{i=1}^n\sum_{j=1}^ne^{j\omega(x_i-x_j)}\overline{\alpha_i}\alpha_j\\ &=|\sum_{i=1}^ne^{j\omega(x_i)}\overline{\alpha_i}|^2\geq0 \end{aligned} \]

    \(h(\omega,x)\ is \ P.d\Rightarrow\sum_{k=1}^na_kh(\omega_k,x)\ is \ P.d,a_k\geq0\Rightarrow\int_{-\infty}^{+\infty}a(\omega)h(\omega,x)d\omega\)

    隨機變量：樣本空間映射到實數軸的確定性函數。

    概率：樣本空間包含了所有的可能性，然后P(A)=p，這是一個確定性函數，本身表示的是樣本空間某個子集的出現可能性的大小。是先驗的。

    概率：從模型(先驗)到決策

    統計：從數據得到模型

    flowchart LR A[數據data]-->|統計statistic|B[模型model]-->|概率Probability|C[決策decision] A-->|大數據big data|C

例1：Modulated Signal。\(X(t)=A(t)cos(2\pi f_0t+\theta),A(t):隨機,\theta \sim v(0,a\pi)，A(t)與\theta\) 獨立。證明寬平穩：

先看一階矩：

\[\begin{aligned} E[X(t)]&=E[A(t)]E[cos(2\pi f_0t+\theta)]\\ &=E[A(t)]\int^{2\pi}_{0}cos(2\pi f_0t+\theta)d\theta \\ &=0 \end{aligned} \]

再看相關函數：

\[\begin{aligned} R_X(t,s)&=E[X(t)X(s)]\\ &=E[A(t)A(s)]E[cos(2\pi f_0t+\theta)cos(2\pi f_0s+\theta)]\\ &=E[A(t)A(s)]\frac{1}{2}(E[cos(2\pi f_0(t-s))]+E[cos(2\pi f_0(t+s)+2\theta)])\\ &=\frac{1}{2}E[A(t)A(s)]E[cos(2\pi f_0(t-s))] \end{aligned} \]

可見，如果振幅調制本身是寬平穩的，則整體的信號是寬平穩的。

例2：Random Telegraph Signal。隨機取1或-1。已知在[s,t]時間內，切換k次的概率為 \(P=\frac{\lambda(t-s)^k}{k!}e^{-\lambda(t-s)}\)。泊松分布Poisson Distribution。證明寬平穩。

計算二階矩（相關函數）：

\[\begin{aligned} E[X(t)X(s)]&=R_X(t,s)\\ &=1\cdot P_1+(-1)\cdot P_{-1}\\ &=\sum_{k \in even}\frac{\lambda(t-s)^k}{k!}-\sum_{k \in odd}\frac{\lambda(t-s)^k}{k!}\\ &=e^{-2\lambda(t-s)} \end{aligned} \]

其中，結果只有1和-1兩種可能，故需處理兩種結果的概率即可。而結果是1說明信號翻轉了偶數次，結果是-1說明翻轉了奇數次。因為

\[\begin{aligned} \sum \frac{\lambda(t-s)^k}{k!}&=e^{\lambda(t-s)}\\ \sum \frac{[-\lambda(t-s)]^k}{k!}&=e^{-\lambda(t-s)} \end{aligned} \]

則

\[\begin{aligned} \sum_{k \in even}\frac{\lambda(t-s)^k}{k!} &=\frac{1}{2}[e^{\lambda(t-s)}+e^{-\lambda(t-s)}]\\ &=\frac{1}{2}[1+e^{-2\lambda(t-s)}]\\ \sum_{k \in odd}\frac{\lambda(t-s)^k}{k!} &=\frac{1}{2}[e^{\lambda(t-s)}-e^{-\lambda(t-s)}]\\ &=\frac{1}{2}[1-e^{-2\lambda(t-s)}] \end{aligned} \]

2.從相關到隨機過程

相關

相關是對兩個隨機變量而言的\(X,Y\)，計算相關\(E(XY)\)。

• 從代數上講，內積
• 從幾何上講，夾角。如此有了正交、投影等概念
• 從隨機上講，期望

隨機過程

隨機過程X(t)，t：Index Set只是一個指標集（Time就是隨機過程，Space就是隨機場）。用相關函數研究隨機過程，\(R_X(t,s)=E(X(t)X(s))\)，是一個確定性的二元函數。如果隨機過程滿足平穩性，如寬平穩，則相關函數只依賴於時間差,即\(R_X(t,s)=R_X(t-s)\)

\(X(t)=X(\omega,t),\Omega\times\mathbb{R}\rightarrow\mathbb{R}\)

• 映射關系：給定t，得到一個隨機變量X（關心隨機變量之間的關系）。需要知道的是，隨機變量本身也是一個函數

• \(X(t,w)\)，實際上是一個二元函數，不止依賴於t，還依賴於樣本空間里的樣本點w，w體現了隨機性

• 因此，給定w，得到一個關於時間的函數，不再有不確定性，該函數稱為樣本軌道Sample Path

樣本軌道在不同時刻的取值不是完全獨立的，受到一種關系的約束，隨機過程在不同時刻得到的不同的隨機變量之間有着相互的約束

希望研究，不確定性下確定的東西，隨着時間變化下的趨勢