【概率論】聯合分布

聯合分布

部分公式是自己推導的，有不對的地方請說出來 QAQ

離散隨機變量

假設 \(X\) 和 \(Y\) 是定義在同一樣本空間上的離散隨機變量，它們的聯合頻率函數是 \(p(x_i, y_i) = P(X=x_i, Y = y_i)\)。

\(P_X(x) = \sum_i p(x, y_i)\)​ 為 \(X\)​ 的邊際頻率函數，\(P_Y\) 的定義類似。

連續隨機變量

假設 \(X\)​​ 和 \(Y\)​​ 是具有累積分布函數 \(F(x, y)\)​​ 的連續型隨機變量，它們的聯合密度函數是兩變量的分段連續函數。

\(F(x, y) = \int_{-\infty}^x \int_{-\infty}^y f(u, v)dvdu\)。

那么在導數定義存在的情況下，\(f(x, y) = \frac{\partial^2}{\partial x \partial y} F(x, y)\)。

\((X, Y)\) 落入 \((x, y)\) 的較小鄰域概率與 \(f(x, y)\) 成比例：\(P(x\leq X \leq x+dx, y\leq Y \leq y+dy)=f(x, y)dxdy\)。

\(X\) 的邊際累積分布函數： \(F_X(x) = P(X\leq x) = \int_{-\infty}^x \int_{-\infty}^{+\infty}f(u, y)dydu\)​。

\(X\)​ 的邊際密度函數為：\(f_X(x) = F_X'(x) = \int_{-\infty}^{+\infty}f(x, y)dy\)​​。

獨立隨機變量

定義

隨機變量 \(X_1,\dots,X_n\)​​​​​ 稱為獨立的，如果 \(\forall x_i\)​​​​​，它們聯合累積分布函數可分解成各自邊際累積分布函數之積 \(F(x_1,\dots,x_n) = \prod F(X_i)\)​​​​，該定義對離散型和連續型隨機變量都是成立的。

對於離散型隨機變量，等價的敘述為：分解聯合頻率函數。

對於連續型隨機變量，等價的敘述為：分解聯合密度函數。

條件分布

離散情形

如果 \(X\) 和 \(Y\) 是離散隨機變量，給定 \(Y=y_j\) 的情況下 \(X=x_i\) 的條件概率是：如果 \(p_Y(y_j)>0\)​，那么

\[P(X=x_i|Y=y_j) = \frac{P(X=x_i, Y=y_j)}{P(Y=y_i)} = \frac{p_{XY}(x_i, y_j)}{p_Y(y_j)} \]

也可以重新表述為：

\[p_{XY}(x, y) = p_{X|Y}(x|y)p_Y(y) \]

連續情形

如果 \(f_Y(y)>0\)​，那么

\[f_{XY}(x, y) = f_{X|Y}(x|y)f_Y(y) \]

否則為 \(0\)。

聯合分布隨機變量函數

首先考慮一些重要的特殊情形：

和與商

和

對於離散形式，設 \(X,Y\) 為離散型隨機變量，具有聯合頻率函數 \(p(x, y)\)，令 \(Z = X+Y\)，那么 \(Z\) 的頻率函數為：

\[p_Z(z) = \sum_{i=-\infty}^\infty p(x, z-x) \]

這個和稱為序列 \(p_X,p_Y\) 的卷積。

對於連續形式，設 \(X,Y\) 為連續型隨機變量，我們首先計算 \(Z=X+Y\) 的累積分布函數 \(F_Z\)。

\[\begin{aligned} F_Z(z) &= P(x+y\leq z)\\ &= \int_{-\infty}^{+\infty} \int_{-\infty}^{z-x}f(x, y)dydx \\ &{\overset{v=x+y}{=}} \int_{-\infty}^{+\infty} \int_{-\infty}^{z}f(x, v-x)dvdx \\ & = \int_{-\infty}^{z} \int_{-\infty}^{+\infty} f(x, v-x)dxdv \\ \end{aligned} \]

\(\int_{-\infty}^{+\infty} f(x, v-x)dx\) 可以看作是 \(g(v)\)（關於 \(v\) 的函數）。

那么 \(f_Z(z) = \int_{-\infty}^{+\infty} f(x, z-x)dx\)​。

如果 \(X,Y\) 獨立，那么 \(f_Z(z) = \int_{-\infty}^{+\infty} f_X(x) f_Y(z-x)dx\)

商

下考慮兩個隨機變量的商。

\(Z = Y/X\)，推導的方式類似於上述和的推導方式可以得到結果，這里采取另一種方法：利用二重積分的變量替換。

令：

\[\begin{cases} u = y/x\\ v=x \end{cases} \]

那么有：

\(F_Z(z) = \int_{-\infty}^{z} \int_{-\infty}^{+\infty} f(v, uv)|J|dvdu\)

其中 \(J = \frac{\partial (x, y)}{\partial (u, v)}\)，這里的 \(|J|\) 是 \(J\) 的絕對值。​

化簡即可得到 \(F_Z(z) = \int_{-\infty}^{z} \int_{-\infty}^{+\infty} |x|f(x, xv)dxdv\)​​

因此 \(f_Z(z) = \int_{-\infty}^{+\infty} |x|f(x, xz)dx\)

如果 \(X,Y\) 獨立，\(f_Z(z) = \int_{-\infty}^{+\infty} |x|f_X(x) f_Y(xz)dx\)​。

一般情形

利用類似於上面使用雅可比行列式求隨機變量的商的方法，我們可以得到多個隨機變量函數的一般情形。

假設 \(X,Y\) 是連續型隨機變量，通過 \(g_1,g_2\) 投影到 \(U,V\) 上：\(u=g_1(x, y),v=g_2(x, y)\)。

同時存在逆變換 \(x=h_1(u, v),y=h_2(u, v)\)，那么有

\[f_{UV}(u, v) = f_{XY}(h_1(u,v),h_2(u,v))|J^{-1}(h_1(u, v), h_2(u, v))| \]

不難注意到這個公式和一維公式的形式是非常接近的。

極值與順序統計量

假設 \(X_1,\dots,X_n\)​ 是具有密度 \(f(x)\)​ 的獨立連續型隨機變量，對 \(X_i\) 排序，記 \(X_{(1)}<\dots<X_{(n)}\) 為順序統計量，現求 \(X_{(k)}\) 的密度函數 \(f_{k}(x)\)。

用先求分布函數然后微分的方法比較復雜。

因為分布函數為 \(F_k(x) = \sum_{i=k}^n C_n^i[F(x)]^i[1-F(x)]^{n-i}\)。

然后接下來我不會化了

注意到事件（已排列好） \(x\leq X_{(k)} \leq x+dx\)​ 發生的概率為：

\[[F(x)]^{k-1}[1-F(x)]^{n-k}f(x)dx \]

因此密度函數為：

\[\begin{aligned} f_k(x) &= C_n^{k-1}C_{n-(k-1)}^1[F(x)]^{k-1}[1-F(x)]^{n-k}f(x)\\ &= \frac{n!}{(k-1)!(n-k)!}[F(x)]^{k-1}[1-F(x)]^{n-k}f(x) \end{aligned} \]

至於極值（極大值、極小值）的密度函數便分別為上式 \(k=n,1\)​ 的結果。