1 基本概念
1.1 隨機事件
隨機試驗三要素:
- 可在同等條件下重復;
- 結果是可被事先預測的多種可能;
- 試驗前結果不確定.
1.2 樣本空間
樣本空間 (Sample Space) : 隨機試驗 \(E\) 的所有可能結果的集合, 記作 \(\Omega = \{ \omega \}\).
樣本點 (Sample Point) : 一個樣本空間眾多的每個元素.
- 樣本空間中樣本點的個數為有限個或可列個的情況為離散樣本空間 (Discrete Sample Space) ;
- 樣本空間中樣本點的個數為不可列無限個的情況為連續樣本空間 (Continuous Sample Space) ;
1.3 事件運算
事件 (Event) : 某些基本事件構成的集合. 為樣本空間的子集.
德摩根定律 (De Morgan's Laws) :
- \(\overline{A \cup B} = \overline{A} \cap \overline{B}\);
- \(\overline{A \cap B} = \overline{A} \cup \overline{B}\);
- \(\overline{ \cup_{i=1}^{n} A_i} = \cap_{i=1}^{n} \overline{A_i}\);
- \(\overline{ \cap_{i=1}^{n} A_i} = \cup_{i=1}^{n} \overline{A_i}\) (\(n \rightarrow + \infty\) 也成立) .
1.4 概率
古典概型 (Classical Probability) : 樣本空間 \(S\) 中有有限個等可能的兩兩互不相容的基本事件, 個數記為 \(\# \{ S \}\), 事件 \(A\) 發生的概率為 \(P(A) = \frac{\# \{ A \} }{\# \{ S \} }\).
例:
- 有重復的排列:
- \(n\) 個不同小球有放回取出\(r\)次: \(n^r\);
- \(n\) 個不同小球有放回放入\(r\)個格子: \(r^n\);
- 有重復的組合:
- \(n\) 個相同小球放入 \(r\) 個格子 (可空) : \(C_{n+r-1}^{n}\);
- \(n\) 個相同小球放入 \(r\) 個格子 (不可空) : \(C_{n-1}^{r-1}\).
幾何概型 (Geometric Probability) : \(P(Ag) = \frac{g的測度}{\Omega的測度}\).
頻率 (Frequency) 的性質:
- \(0 \leq f_n (A) \leq 1\);
- \(f_n (S) = 1\);
- 若\(A_1, A_2, ..., A_k\)兩兩互斥, \(f(A_1 \cup A_2 \cup A_k) = f_n (A_1) + f_n (A_2) + ... + f_n (A_k)\).
例: 蒲豐投針
壓線概率: \(P = \frac{1/2 \int_0^{\pi} l \sin(\phi) ~ d \phi}{1/2 a \pi} n= \frac{2l}{\pi a}\).
事件 \(\sigma\) 域: \(\mathcal{F}\) 是由樣本空間 \(\Omega\) 的子集組成的集類, 滿足:
- \(\Omega \in \mathcal{F}\);
- 若 \(A \in \mathcal{F}\), 則 \(\overline{A} \in \mathcal{F}\) ( "取補" 運算封閉) ;
- 若 \(A_n \in \mathcal{F}\), \(n = 1, 2, ...\), 則 \(\cup_{n = 1}^{\infty} A_n \in \mathcal{F}\) ( "可列並" 運算封閉) .
則稱 \(\mathcal{F}\) 是 \(\sigma\) 域, \(\mathcal{F}\) 中的元素為事件.
一維Borel \(\sigma\) 域: 在全體實數 \(\mathbb{R}^1\) 中, 由一切形為 \([a, b)\) 的有界左閉右開區間構成的集類所產生的 \(\sigma\) 域. 記之為 \(\mathcal{B}_1\). \(\mathcal{B}_1\) 中的集合為一維Borel點集.
\(\mathcal{B}_1\) 包括了實數中 (大概) 所有感興趣的集.
概率 (Probability) : 設 \(\Omega\) 為一個樣本空間, \(\mathcal{F}\) 為的某些子集組成的一個事件 \(\sigma\) 域. 如果對任一事件 \(A \in \mathcal{F}\), 定義在 \(\mathcal{F}\) 上的一個實值函數 \(P(A)\) 滿足:
- 非負性: \(P(A) \geq 0, \forall A \in \mathcal{F}\);
- 規范性: \(P(\Omega) = 1\);
- 可列可加性: \(A_i \in \mathcal{F}\), \(i = 1, 2, ...\) 且兩兩互不相容, 則 \(P(A_1 + A_2 + ...) = P(A_1) + P(A_2) + ...\) ;
則稱 \(P(A)\) 為事件 \(A\) 的概率, 稱三元總體 \((\Omega, \mathcal{F}, \mathcal{P})\) 為概率空間 (Probability Space) .
所以概率\(P\)是個集合函數, 定義域為 \(\mathcal{F}\), 值域為 \([0, 1]\).
概率的性質:
- \(P(\emptyset) = 0\) (由可列可加性) ;
- 有限可加性: \(P(A_1 + A_2 + ... + A_n) = P(A_1) + P(A_2) + ... P(A_n)\) (由可列可加性及性質1) ;
- \(P(\overline{A}) = 1 - P(A)\);
- \(\forall A, B \in \mathcal{F}\), \(P(A - B) = P(A) - P(AB)\);
- 若 \(A \subset B\), 則\(P(B - A) = P(B) - P(A)\);
- \(P(A \cup B) = P(A) + P(B) - P(A \cap B)\);
- 容斥原理:
推論:
- 若 \(A \subset B\), 則 \(P(A) \leq P(B)\);
- 布爾不等式: \(P(A \cup B) \leq P(A) + P(B)\);
- Bonferroni不等式: \(P(AB) \geq P(A) + P(B) - 1\).
2 條件概率與統計獨立性
2.1 條件概率
設 \((\Omega, \mathcal{F}, \mathcal{P})\) 是一個概率空間, \(B \in \mathcal{F}\), 且 \(P(B) > 0\), 則 \(\forall A \in \mathcal{F}\), 記 \(P(A|B) = \frac{P(AB)}{P(B)}\).
稱 \(P(A|B)\) 為在事件 \(B\) 發生的條件下的事件 \(A\) 發生的條件概率.
乘法公式:
- \(P(AB) = P(A)P(A|B)\);
- \(P(ABC) = P(A)P(A|B)P(C|AB)\).
性質:
- 概率的所有性質;
- 若 \(BC = \emptyset\), 則 \(P(BC) = 0\);
- \(P(B|B) = 1\), 若 \(C \subset B\), 則 \(P(B|C) = 1\);
- 若 \(B \subset C\), 則 \(P(B|C) = \frac{P(B)}{P(C)}\);
- \(P(B| \Omega) = 1\), 若 \(P(C) = 1\), 則 \(P(B|C) = 1\) (利用補集來證明).
2.2 事件獨立
\(A, B \in \mathcal{F}\), 若 \(P(AB) = P(A)P(B)\), 則 \(A\), \(B\) 獨立.
\(A, B, C \in \mathcal{F}\), 若
- \(P(AB) = P(A)P(B)\);
- \(P(AC) = P(A)P(C)\);
- \(P(BC) = P(B)P(C)\);
- \(P(ABC) = P(A)P(B)P(C)\),
則 \(A\), \(B\), \(C\) 相互獨立.
性質:
- 若 \(A\), \(B\) 獨立, \(P(B) > 0 \Leftrightarrow P(A|B) = P(A)\);
- 若 \(A\), \(B\) 獨立, \(P(B) > 0 \Leftrightarrow P(A|B) = P(A| \overline{B}) \Leftrightarrow P(A|B) + P(\overline{A} | \overline{B}) = 1\);
- 若 \(A\), \(B\) 獨立, 則 \(\{A, \overline{B} \}\), \(\{ \overline{A}, B \}\), \(\{ \overline{A}, \overline{B} \}\) 各組事件獨立;
- \(\Omega\) 和 \(\emptyset\) 與任何事件獨立.
2.3 全概率公式
設事件 \(E_1, E_2, ...\) 是樣本空間 \(\Omega\) 的一個分割 (完備事件組) , 即 \(E_i\), \(i = 1, 2, ...\) 兩兩互斥且 \(\cup_{i = 1}^{\infty}E_i = \Omega\), 則 \(P(A) = \sum_{i=1}^{\infty} P(A|E_i)P(E_i)\).
分解復雜問題分布考慮.
貝葉斯 (Bayesian) 公式:
3 隨機變量與分布函數
3.1 隨機變量 (Random Variable)
3.1.1 隨機變量定義
函數 \(X(e)\) 可稱為隨機變量, 若滿足:
- \(X(e)\) 是定義在樣本空間 \(\Omega\) 的關於 \(\mathcal{F}\) 的單值實函數;
- 對於每個實數 \(x\), 集合 \(\{e: X(e) \leq x \}\) 是一個事件. \(X = X(e)\) 使樣本空間 \(\Omega\) 中的每個基本事件 \(e\) 在實數軸 \(\mathbb{R}^1 = (- \infty, + \infty)\) 上有一點 \(X\) 與之對應.
根據樣本空間中基本事件是否有限/可數將隨機變量分為連續型隨機變量和離散型隨機變量.
3.1.2 分布函數 (Distribution Function)
設 \(X\) 為一個隨機變量, \(x\) 為任意實數, 則函數
為隨機變量 \(X\) 的分布函數.
性質:
- 單調性: 單調不減;
- 非負有界: \(F(x) \in [0, 1]\),
\(\displaystyle \lim_{x \rightarrow - \infty} F(x) = 0\),
\(\displaystyle \lim_{x \rightarrow + \infty} F(x) = 1\); - 連續性: \(F(x)\) 右連續, 即 \(\displaystyle \lim_{h \rightarrow 0} F(x + h) = F(x)\).
若函數滿足三條性質, 則該函數一定是某個隨機變量的分布函數.
3.2 離散型隨機變量 (Discrete R.V.)
3.2.1 離散型隨機變量的分布率 (Probability Distribution)
設離散型隨機變量 \(X\), 其可能值為 \(x_k\) (\(k = 1, 2, ...\)), 則
稱為 \(X\) 的分布率.
\(P_k\) 滿足: \(P_k \geq 0\) (非負性);
\(\sum_{k = 1}^{\infty} P_k = 1\) (歸一性).
3.2.2 離散型隨機變量的分布函數
隨機變量 \(X\) 的分布律為 \(P(X = x_k) = P_k\), (\(k = 1, 2, ...\)) , 其分布函數為
3.2.3 常見離散型隨機變量分布函數
- 單點分布: \(P \{ x = c \} = 1\).
- 兩點分布: (Bernoulli Distribution) (伯努利分布)
\(P \{ x = 0 \} = 1-p\),
\(P \{ x = 1 \} =p\). - 二項分布: (Binomial Distribution) \(n\) 次伯努利試驗中事件發生 \(X\) 次
\(x \sim bin(n, p)\),
\(P \{ X = k \} = \begin{pmatrix} k \\ n \end{pmatrix} p^k q^{n - k}\), (\(k = 1, 2, ..., n\)), \(q = 1 - p.\)
最大值: \(k = (n+1)p\). - 幾何分布: (Geometric Distribution) \(n\) 次伯努利試驗一直到第 \(X\) 次事件第一次發生
\(P \{ X = k \} = q^{k - 1}p\),
(無記憶性). - 泊松分布: (Poisson Distribution)
\(X \sim Poi(\lambda)\),
\(P \{ X = k \} = \frac{\lambda^k e^{- \lambda}}{k!}\).
二項分布當 \(n \rightarrow \infty\) 時為泊松分布, 即 \(\displaystyle \lim_{x \rightarrow \infty} \begin{pmatrix} k \\ n \end{pmatrix} p^k q^{n - k} = \frac{\lambda^k e^{- \lambda}}{k!}\), 其中 \(np = \lambda\).
無記憶性 (Memorylessness): 后面事件發生的概率與前面事件發生無關, 即 \(P \{ X = m + k | X > m \} = P \{ X = k \}\).
在離散型隨機變量 \(X \in \mathbb{Z}^*\) 中即 \(P \{ X = k + 1 | X > k \} = P \{ X = 1 \}\).
例: 幾何分布無記憶性的證明
證明: 令 \(a_k = P \{ X = k \}\), \(b_k = P \{ X > k \}\),
\(p = P \{ X = k + 1 | X = k \} = \frac{a_{k+1}}{b_k}\), 則 \(a_{k+1} = b_k - b_{k+1}\),
\(\therefore pb_k = b_k - b_{k+1}\), \(b_k = (1-p)^{k-1}b_1 = (1-p)^{k-1} (1-a_1)\),
\(a_{k+1} = p(1-p)^{k-1}(1-a_1)\)
令 \(k = 0\), 有 \(a_1 = p(1-p)^{-1}(1-a_1)\),
可得 \(a_1 = p\), 即 \(P \{ X = k + 1 | X = k \} = P \{ X = 1 \}\). 得證.
3.3 連續型隨機變量 (Continous R.V.)
對於隨機變量 \(X\), 若 \(\forall x \in \mathbb{R}\) 存在一個非負可積的函數 \(f(x)\), 有 \(F(x) = \int_{- \infty}^{x}f(t)dt\), 則稱 \(X\) 是一個連續型隨機變量; \(f(x)\) 為 \(X\) 的密度函數.
性質:
- 非負性: \(f(x) \geq 0\).
- 規范性: \(\int_{- \infty}^{+ \infty} f(x) dx = 1\).
- \(\forall x_1 \leq x_2\), \(P \{ x_1 < x \leq x_2 \} = F(x_2) - F(x_1) = \int_{x_1}^{x_2} f(x_1)dx\).
- 若 \(f(x)\) 在 \(x_0\) 連續, 則 \(F'(x) = f(x)\).
若函數 \(f(x)\) 滿足以上四條性質, 則該函數一定是某個隨機變量的密度函數.
3.3.1 常見連續型隨機變量分布函數
- 均勻分布: (Uniform Distribution)
\(X \sim U(a, b)\),
\(f(x) = \begin{cases} \frac{1}{b - a}, ~~~ a < x < b, \\ 0, ~~~~~~~ otherwise. \end{cases}\)
\(F(x) = \begin{cases} 0, ~~~~~~~ x < a, \\ \frac{x - a}{b - a}, ~~~ a \leq x < b, \\ 1, ~~~~~~~ x \geq b. \end{cases}\) - 指數分布: (Exponential Distribution)
\(X \sim Exp(\lambda)\),
\(f(x) = \begin{cases} \lambda e^{- \lambda x}, ~~~ x > 0, \\ 0, ~~~~~~~~~~~ otherwise. \end{cases}\)
\(F(x) = \begin{cases} 0, ~~~~~~~~~~~~~~~ x \leq 0, \\ 1 - e^{- \lambda x}, ~~~ x > 0. \end{cases}\)
指數分布擁有無記憶性, 即 \(P \{ t < x < t + \triangle t | x > t \} = \lambda \triangle t + o(\triangle t)\).
例: 指數分布無記憶性的證明
\(\frac{F(t + \triangle t) - F(t)}{1 - F(t)} = \lambda \triangle t + o(\triangle t)\),
\(\frac{F(t + \triangle t) - F(t)}{\triangle t} = \lambda (1 - F(t)) + \frac{o(\triangle t)}{\triangle t} (1 - F(t))\),
\(\triangle t \rightarrow 0\), 故有 \(\frac{d F(t)}{dt} = \lambda (1 - F(t))\),
則 \(\frac{d F(t)}{1 - F(t)} = \lambda dt\), 同時積分, 有
\(- ln(1 - F(t)) = \lambda t + c\),
即 \(1 - F(t) = e^{-(\lambda t + c)} = e ^{- \lambda t} e^c\)
\(\because F(t) = 0\), \(\therefore c = 0\),
\(\therefore F(t) = 1 - e^{- \lambda t}\).
- 正態分布: (Gaussian Distribution)
\(X \sim N(\mu, \sigma^2)\),
\(f(x) = \frac{1}{\sqrt{2 \pi} \sigma} e^{- \frac{(x - \mu)^2}{2 \sigma^2}}\),
性質: 1. 關於 \(x = \mu\) 對稱；
2. \(max f(x) = f(\mu) = \frac{1}{\sqrt{2 \pi} \sigma}\);
3. 兩個拐點 \(x = \mu \pm \sigma\). - 標准正態分布: 正態分布標准化 \(Z = \frac{x - \mu}{\sigma} \sim N(0, 1)\).
\(\phi (x) = \frac{1}{\sqrt{2 \pi} } e^{- \frac{x^2}{2}}\).
性質: 1. \(\Phi (-x) = 1 - \Phi (x)\);
2. \(P \{ |X| = x \} = 1 - 2 \Phi (-x) = 2 \Phi(x) -1\);
3. \(x_{1 - \alpha} = x_{\alpha}\), 其中 \(x_{\alpha}\) 為 \(\alpha\) 分位數
\(P \{ x > x_{\alpha} \} = \alpha\);
\((x_{1 - \alpha}, 0)\)為上 \(\alpha\) 分位點.
4 隨機向量，隨機變量的獨立性
4.1 隨機向量及分布函數
4.1.1 隨機向量
若隨機變量 \(\xi_1 ( \omega ), \xi_2 ( \omega ), ..., \xi_n( \omega )\) 定義在同一概率空間 \(( \Omega, \mathcal{F}, \mathcal{P} )\) 上, 則稱
構成一個 \(n\) 維隨機向 (變) 量.
4.1.2 (聯合) 分布函數 (Joint C.D.F)
其中:
\(F: \mathbb{R}^n \mapsto [0, 1]\);
\(\{ \omega: \xi_i (\omega) \leq x_i, ~ i = 1, 2, ..., n \} \in \mathcal{F}\);
\(\cap_{i = 1}^n \{ \xi_n^{-1} (x_i) \} \in Borel ~ \mathbb{R}^n\).
性質:
- \(F(\vec{x})\) 右連續;
- \(\displaystyle \lim_{x_i \to - \infty} F(x_1, ..., x_n) = 0\);
( \(\because ~ \forall ~ i \in \{ 1, 2, ..., n \}, ~ \cap_{j = 1}^n \{ \xi_j \leq x_j \} \subset \{ \xi_i \leq x_i \}\), 且 \(\displaystyle \lim_{x_i \to - \infty} F(x_i) = 0\) ) - \(\displaystyle \lim_{x_i \to + \infty} F(x_1, ..., x_n) = F_{n-1} (x_1, ..., x_{i-1}, x_{i+1}, ...x_n)\).
即 \((\xi_1, ..., \xi_{i-1}, \xi_{i+1}, ..., \xi_n)\) 的 C.D.F.
特別地 \(\xi_i \sim F_i (x_i) = \displaystyle \lim_{x_j \to + \infty} F(x_1, ..., x_i, ..., x_n), ~ j \neq i\), ;稱為它的邊際(Marginal)分布. - 單調性: 關於每個分量單調不減.
一元: \(\forall ~ x_1 < x_2, ~ P(x_1 < \xi \leq x_2) = F(x_2) - F(x_1) > 0\);
二元: \(\forall ~ x_1' < x_1, ~ x_2' < x_2\),
\(\begin{aligned} &P(x_1' < \xi_1 \leq x_1, ~ x_2' < \xi_2 \leq x_2) = \\ &F(x_1, x_2) - F(x_1', x_2) - F(x_1, x_2') + F(x_1', x_2'); \end{aligned}\)
\(n\) 元: \(\forall ~ x_1' < x_1, ..., ~ x_n' < x_n\),
\(\begin{aligned} &P(x_1' < \xi_1 \leq x_1, ..., ~ x_n' < \xi_n \leq x_n) = \\ &F(x_1, ..., x_n) - \sum F(含有1個'的) + \sum F(含有2個'的) \\ &+ ... +(-1)^n \sum F(含有n個'的); \end{aligned}\)
滿足以上四條性質的函數必是某隨機變量的分布函數.
4.2 常見的多元隨機變量
4.2.1 離散型
- 多項分布: (Multinomial Distribution)
\(n\)次試驗中\(A_i\)發生\(n_i\)次, \(i = 1, ..., r\), 即一次試驗結果有 \(r\) 種情況.
\(P(A_i) = p_i\), \(n = \sum_{i = 1}^r n_i\), \(\sum_{i = 1}^r p_i = 1\),
\(\begin{aligned} P \{ \xi_1 = n_1, ..., ~\xi_r = n_r \} = \frac{n!}{n_1!...n_r!} p_1^{n_1}...p_r^{n_r} \end{aligned}\). - 超幾何分布: (Hypergeometric Distribution)
袋中共有 \(N\) 只球, 第 \(i\) 種球有 \(N_i\) 只, 共取出 \(n\) 只球, 第 \(i\) 種球取出了 \(n_i\) 只.
\(N = \sum_{i = 1}^r N_i\), \(n = \sum_{i = 1}^r n_i\), \(i = 1, ..., r\), 即共有 \(i\) 種球.
\(\begin{aligned} P \{ \xi_1 = n_1, ..., ~\xi_r = n_r \} = \frac{N \choose n}{ {N_1 \choose n_1} {N_2 \choose n_2}... {N_r \choose n_r} } \end{aligned}\).
4.2.2 連續型
連續型隨機變量密度函數 \(p(x_1, ..., x_n)\) 的定義: 存在非負函數 \(p(x_1, ..., x_n)\) 使得
- 均勻分布: (Uniform Distribution)
\(\vec{x} \sim N(\vec{\mu}, \Sigma)\)
有限可測區域 \(G \in \mathbb{R}^n\), 其測度為 \(S\).
\(p(x_1, x_2, ..., x_n) = \begin{cases} \frac{1}{S}, ~~~ (x_1, x_2, ..., x_n) \in G; \\ 0, ~~~~ (x_1, x_2, ..., x_n) \notin G. \end{cases}\) - 多元正太分布: (Multivariate Normal Distribution)
\(\begin{aligned} p(x_1, x_2, ..., x_n) = p(\vec{x}) = \frac{1}{(2 \pi)^{\frac{n}{2}} |\Sigma|^{\frac{1}{2} } } exp \{ - \frac{1}{2} (\vec{x} - \vec{\mu}) \Sigma^{-1} (\vec{x} - \vec{\mu}) \} \end{aligned}\)
其中 \(\vec{\mu} = (\mu_1, \mu_2, ..., \mu_n)\), \(\Sigma = (\sigma_{ij})\) 為 \(n\) 階正定對稱矩陣.
- \(n = 1\) 時, \(\mu \in \mathbb{R}\), \(\Sigma = \sigma^2 > 0\);
- \(n = 2\) 時, \((x, y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)\),
\(\vec{\mu} = (\mu_1, \mu_2)\), \(\Sigma = \begin{pmatrix} \sigma_1^2 & \rho \sigma_1 \sigma_2 \\ \rho \sigma_1 \sigma_2 & \sigma_2^2 \end{pmatrix}\),
\(\begin{aligned} p(x, y) = \frac{1}{2 \pi \sigma_1 \sigma_2 \sqrt{1 - \rho^2}} exp \{ -\frac{1}{2(1 - \rho)^2} \big[ \frac{(x - \mu_1)^2}{\sigma_1^2} - 2 \rho \frac{(x - \mu_1)(y - \mu_2)}{\sigma_1 \sigma_2} + \frac{(y - \mu_2)^2}{\sigma_2^2} \big] \} \end{aligned}\),
其典型分解為
\(\begin{aligned} p(x, y) = \frac{1}{\sqrt{2 \pi} \sigma_1} exp \{- \frac{(x - \mu_1)^2}{2 \sigma_1^2}\} \cdot \frac{1}{\sqrt{2 \pi} \sigma_2 \sqrt{1 - \rho^2}} exp \{ - \frac{ \big[ y - \big( \mu_2 + \rho \frac{\sigma_1}{\sigma_2} (x - \mu_1) \big) \big]^2 }{2 \sigma_2^2 (1 - \rho^2)} \} \end{aligned}\).
4.3 邊際分布及條件分布 (Conditional Distribution)
4.3.1 邊際分布
設多元隨機變量 \(\vec{x} \sim F (\vec{x})\), 則 \(x_j\) 的邊際分布為 \(F_j (x_j) = F (+ \infty, + \infty, ..., x_j, ...)\).
- 離散型: \(n = 2\) 時, \(p_{ij} = P(x = x_i, y = y_j)\), \(i, j = 1, 2, ...\).
\(x\) 的邊際分布為
\(\begin{aligned} P(x = x_i) &= P(x = x_i, \cup_{j = 1}^{\infty} \{ y = y_j \}) \\ &= \sum_{j = 1}^{\infty} P(x = x_i, y = y_j) \\ &= \sum_{j = 1}^{\infty} p_{ij} = p_{i.}.\end{aligned}\) - 連續型:
\(\begin{aligned} F_t(x_t) &= F(+ \infty, + \infty, ..., x_t, ...) \\ &= \int_{- \infty}^{x_t} \bigg[ \int_{- \infty}^{+ \infty} ... \int_{- \infty}^{+ \infty} f(\vec{y}) ~ dy_1 dy_2 ... dy_{t-1} dy_{t+1} ... \bigg]~ dy_t \end{aligned}\) - 混合型:
eg. \(x \sim N(0, 1)\), \(y = \begin{cases} -1, ~~~ x < -1; \\ x, ~~~ -1 \leq x < 1; \\ 1, ~~~ x \geq 1. \end{cases}\)
4.3.2 條件分布
以二元條件分布為例 \(F(x, y_0) = P(X \leq x ~ | ~ Y = y_0)\).
- 離散型: \(\begin{aligned} P(x = x_{i} ~ | ~ y = y_{j}) = \frac{P(x = x_i, y = y_i)}{P(y = y_i)} = \frac{p_{ij}}{p_{.j}} \end{aligned}\);
- 連續型:
\(\begin{aligned} &P(x \leq X < x + \triangle x ~ | ~ y \leq Y < y + \triangle y) \\ = & \frac{P(x \leq X < x + \triangle x, ~ y \leq Y < y + \triangle y)}{P( y \leq Y < y + \triangle y)} \\ = & \frac{\int_x^{x + \triangle x} \int_{y}^{y + \triangle y} f(s, t) ~ dt ds}{\int_{- \infty}^{+ \infty} \int_{y}^{y + \triangle y} f(s, t) ~ dt ds}; \end{aligned}\)
\(\begin{aligned} P(x ~ | ~ y) &= \lim_{{ \begin{gathered} \triangle x \to 0 \\ \triangle y \to 0 \end{gathered}}} \frac{1}{\triangle x} P(x \leq X < x + \triangle x ~ | ~ y \leq Y < y + \triangle y) \\ &=\lim_{{ \begin{gathered} \triangle x \to 0 \\ \triangle y \to 0 \end{gathered}}} \frac{\frac{1}{\triangle x \triangle y} \int_x^{x + \triangle x} \int_{y}^{y + \triangle y} f(s, t) ~ dt ds}{\int_{- \infty}^{+ \infty} \big[ \frac{1}{\triangle y} \int_{y}^{y + \triangle y} f(s, t) ~ dt \big] ds} \\ &= \frac{f(x, y)}{\int_{- \infty}^{+ \infty} f(s, y) ~ ds} = \frac{f(x, y)}{f_y (y)}. \end{aligned}\)
若 \(f_{y}(y) = 0\), 則 \(p (x ~ | ~ y) = 0\).
例: 二元正態分布 \((x, y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)\)
邊際分布: \(X \sim N(\mu_1, \sigma_1^2)\); \(Y \sim N(\mu_2, \sigma_2^2)\);
條件分布: \(Y ~ | ~ X = x_0 \sim N \big( \mu_2 + \rho \frac{\sigma_2}{\sigma_1} (x_0 - \mu_1), \sigma_2^2 (1 - \rho^2) \big)\).
當 \(\rho = 0\) (即 \(x\), \(y\) 獨立) 時, 即為 \(Y\) 的邊際分布.
4.4 隨機變量的獨立性
對於 \(\mathbb{R}\) 上的任意 Borel 集 \(A\), \(B\)...
則稱 \(A\), \(B\)... 獨立.
特別地, \(A = (- \infty , x]\), \(B = (- \infty , y]\)... 時,
以兩個變量為例, 即 \(F(x, y) = F_x (x) F_y (y)\) 對 \(\forall ~ x, y \in \mathbb{R}\) 成立.
即定義域中任意點滿足: 聯合分布 = \(\prod\) 邊際分布.
- 離散型
\((x_1, x_2, ... x_n)^T\) 對 \(A_1, ..., A_n\),
\(P(x_1 \in A_1, ... , x_n \in A_n) = P(x_1 \in A_1)... P(x_n \in A_n)\). - 連續型
\(\begin{aligned} f(x_1, ..., x_n) = \frac{\partial^n F(x_1, ..., x_n)}{\partial x_1 ... \partial x_n} = f_{x_1} (x_1)... f_{x_n} (x_n) \end{aligned}.\)
對於幾乎處處 \(\vec{x} \in \mathbb{R}^n\) 成立.
eg. \(f(s) = \begin{cases} f(s_0) + t, ~~~ s = s_0; \\ f(s), ~~~~~~~~~~~ s \neq s_0. \end{cases}\)