胡淵鳴《淺析信息學競賽中概率論的基礎與應用》學習筆記

（未完待更！！！！！！！！！！！！！！！！！！！！！！！）

概率

概率空間

一個概率空間是一個三元組 \((\Omega,F,\mathrm P)\)，其中

1. \(\Omega\) 是樣本空間，其中的樣本記作 \(\omega\)，任意時刻存在且有唯一 \(\omega\in\Omega\) 發生；
2. 一個事件 \(A\) 是 \(\Omega\) 的一個子集，\(A\) 發生當且僅當某個 \(\omega\in A\) 發生；若事件 \(A\cap B=\varnothing\) 則稱 \(A,B\) 互斥，它們不可能同時發生。\(F\) 是事件集合，即所有可能的 \(A\) 的集合（事實上這玩意很雞肋，一般就認為 \(F=2^{\Omega}\) 吧）；
3. 函數 \(\mathrm P:F\to \R\) 是概率測度，滿足三條公理：
   1. 非負性：對任意 \(A\in F\) 有 \(\mathrm P(A)\geq 0\)；
   2. 規范性：\(\mathrm P(\Omega)=1\)；
   3. 可加性：對有限個或無限但可列個兩兩互斥的事件 \(\{A_i\}\)，有 \(\mathrm P\!\left(\bigcup\limits_iA_i\right)=\sum\limits_i\mathrm P(A_i)\)，易證 RHS 這個無窮級數是絕對收斂的，於是不需要關心求和順序，計算該集合的元素和是合理的。

將事件看成樣本的集合后，概率問題便可以類似組合計數來處理（可加性說明了為什么概率滿足容斥原理）。

條件概率

在概率空間 \((\Omega,F,\mathrm P)\) 中，對 \(A,B\in F\)，記 \(\mathrm P(B\mid A)\) 為事件 \(A\) 發生的條件下事件 \(B\) 的概率（必有 \(\mathrm P(A)>0\)，否則無意義）。考慮如何計算它：\(A^{\mathrm C}\) 中的樣本都不可能發生了，於是我們可以新建一個概率空間，其中 \(\Omega'=A,F'=2^{A}\)。\(\mathrm P'\) 又如何呢？與 \(A^{\mathrm C}\) 有交的事件拋棄，\(A\) 的子集的概率測度原封不動？這就不滿足規范性了，為了解決這個問題，我們可以令對 \(\forall C\subseteq A\) 都有 \(\mathrm P'(C)=\dfrac{\mathrm P(C)}{\mathrm P(A)}\)。回到計算條件概率的問題上來，\(B\) 中僅剩下屬於 \(A\) 的樣本有效，於是 \(\mathrm P(B\mid A)=\mathrm P'(A\cap B)=\dfrac{\mathrm P(A\cap B)}{\mathrm P(A)}\)，這便是條件概率的計算公式。
將 \(\mathrm P(A)\) 移到左邊並根據輪換性擴展得到 \(\mathrm P(A\cap B)=\mathrm P(A)\mathrm P(B\mid A)=\mathrm P(B)\mathrm P(A\mid B)\)，這是概率的乘法原理，符合「分步相乘」的直覺。
根據 \(\mathrm P(A)\mathrm P(B\mid A)=\mathrm P(B)\mathrm P(A\mid B)\) 得到 \(\mathrm P(B\mid A)=\dfrac{\mathrm P(B)\mathrm P(A\mid B)}{\mathrm P(A)}\)，這是貝葉斯公式，運用它可以輕松計算逆向概率。P.S. 一個生 動 形 象的例子：雖然 NOI 不考多項式，但是 jxd 選手基本都會多項式，根據貝葉斯公式有 \(\mathrm P(\text{jxd}\mid\text{會多項式})=\dfrac{\mathrm P(\text{jxd})\mathrm P(\text{會多項式}\mid\text{jxd})}{\mathrm P(\text{會多項式})}\)，根據條件 \(\mathrm P(\text{會多項式}\mid\text{jxd})\approx1\)，而 \(\mathrm P(\text{會多項式})\ll 1\)，可知 \(\mathrm P(\mathrm{jxd}\mid 會多項式)\gg\mathrm P(\text{jxd})\)，也就是說學多項式能給進 jxd 增加很大的概率，所以要學！

若對事件 \(A,B\in F\) 滿足 \(\mathrm P(A\cap B)=\mathrm P(A)\mathrm P(B)\)，則稱 \(A,B\) 相互獨立。這就是說，\(\mathrm P(A)=\mathrm P(A\mid B),\mathrm P(B)=\mathrm P(B\mid A)\)，它們發生與否對對方的概率沒有影響。

全概率公式

對事件 \(A\in F\)，注意到若可列個事件 \(\{B_i\}\) 是樣本空間 \(\Omega\) 的一個划分（即兩兩不交且並和等於 \(\Omega\)），則 \(\{A\cap B_i\}\) 是 \(A\) 的一個划分，於是有 \(\mathrm P(A)=\sum\limits_i\mathrm P(A\cap B_i)\)（易證無窮級數的絕對收斂性），這是全概率公式，同時也是概率的加法原理，符合「分類相加」的直覺。
將加法原理和乘法原理結合起來可以得到 \(\mathrm P(A)=\sum\limits_i\mathrm P(B_i)\mathrm P(A\mid B_i)\)。

期望

隨機變量、期望

在概率空間 \((\Omega,F,\mathrm P)\) 中，一個函數 \(X:\Omega\to \R\) 稱為一個隨機變量。設 \(X\) 的值域為 \(\mathrm R\)，那么事件的集合 \(\{X=x\mid x\in \mathrm R\}\) 天然地成為 \(\Omega\) 的一個划分。這篇文章中只考慮 \(\mathrm R\) 可列的情況，這樣 \(X\) 稱為離散型隨機變量（絕大多數 OI 題都不會涉及到非離散型，即使涉及到了可能也不涉及稍難的概率論內容）。
對一個隨機變量 \(X\)，定義它的期望 \(\mathrm E(X)=\sum\limits_{x\in\mathrm R}x\mathrm P(X=x)\)。若 \(\Omega\) 可列，還可以表示為 \(\mathrm E(X)=\sum\limits_{\omega\in\Omega}X(\omega)\mathrm P(\omega)\)，其中 \(\mathrm P(\omega)=\mathrm P(\{\omega\})\)。涉及到的無窮級數都易證絕對收斂性。
對兩個隨機變量 \(X,Y\)，若 \(\{X=x\mid x\in \mathrm R_X\}\times\{Y=y\mid y\in \mathrm R_Y\}\) 中每一對事件都相互獨立，則稱 \(X,Y\) 相互獨立。

期望的數乘、和、乘積

期望滿足線性性，即對兩個隨機變量 \(X,Y\) 以及常數 \(a,b\) 有 \(\mathrm E(aX+bY)=a\mathrm E(X)+b\mathrm E(Y)\)，這通過期望的定義很容易證明，只需要對 \(\{(X=x)\cap(Y=y)\mid x\in \mathrm R_X,y\in \mathrm R_Y\}\) 中的事件逐一討論即可，易證這是 \(\Omega\) 的一個可列划分。

對兩個相互獨立的隨機變量 \(X,Y\)，它們乘積的期望等於期望的乘積，證明：

\[\begin{aligned}\mathrm E(XY)&=\sum\limits_{z\in\mathrm R_{XY}}z\mathrm P(XY=z)\\&=\sum_{x\in \mathrm R_X}\sum_{y\in\mathrm R_Y}xy\mathrm P((X=x)\cap(Y=y))\\&=\sum_{x\in\mathrm R_X}x\mathrm P(X=x)\sum_{y\in \mathrm R_Y}y\mathrm P(Y=y)\\&=\mathrm E(X)\mathrm E(Y)\end{aligned} \]

條件期望、全期望公式

對隨機變量 \(X\) 和事件 \(A\in F\)，類似條件概率那樣，考慮給 \(X\) 加上先決條件 \(A\) 會發生什么。那么對 \(\forall x\in \mathrm R\) 顯然都有 \(\mathrm P(X=x\mid A)=\dfrac{\mathrm P((X=x)\cap A)}{\mathrm P(A)}\)，這包含了加上先決條件 \(A\) 的 \(X\) 的全部信息，我們稱新產生的隨機變量為條件隨機變量 \(X\mid A\)，它定義在新概率空間 \(\left(\Omega'=A,F'=2^A,P'\right)\) 上。條件隨機變量 \(X\mid A\) 的期望 \(\mathrm E(X\mid A)\) 為條件期望，顯然有 \(\mathrm E(X\mid A)=\dfrac{\sum\limits_{x\in\mathrm R}x\mathrm P((X=x)\cap A)}{\mathrm P(A)}\)，這是條件期望的計算公式。

對 \(\Omega\) 的一個可列划分 \(\{A_i\}\)，有 \(\mathrm E(X)=\sum\limits_{i}\mathrm P(A_i)\mathrm E(X\mid A_i)\)（易證無窮級數絕對收斂性），這是全期望公式，也是期望的加法原理。證明：

\[\begin{aligned} \sum_i\mathrm P(A_i)\mathrm E(X\mid A_i)&=\sum_i\sum_{x\in\mathrm R}x\mathrm P((X=x)\cap A_i)\\&=\sum_{x\in \mathrm R}x\sum_i\mathrm P((X=x)\cap A_i)\\&=\sum_{x\in\mathrm R}x\mathrm P(X=x)\\&=\mathrm E(X) \end{aligned} \]

回顧到隨機變量可以自然地形成樣本空間的一個划分這個特性，注意到全期望公式的 RHS 恰好是「概率乘以值的和」的形式，考慮用另一個隨機變量 \(Y\) 來表示 \(\{A_i\}\)，有 \(\mathrm E(X)=\sum\limits_{y\in\mathrm R_Y}\mathrm E(X\mid Y=y)\mathrm P(Y=y)\)，那么考慮另一個划分方式與 \(Y\) 相同但是當 \(Y=y\) 時值為 \(\mathrm E(X\mid Y=y)\) 的隨機變量 \(Z\)，有 \(\mathrm E(X)=\mathrm E(Z)\)，不規范地寫成 \(\mathrm E(X)=\mathrm E(\mathrm E(X\mid Y))\)，這是全期望公式的另一種形式，個人不太喜歡。

例題：CF123E - Maze

一開始的樣本空間是所有可能的走位方案集合，每個方案是一個經過的邊的序列吧，那么每個樣本的隨機變量取值是包含的邊的數量，問的是這個隨機變量的期望。這個概率空間的概率測度不是通過確定每個樣本的概率而確定的，而是給出走位的轉移概率分布，這就不太好直接通過樣本來求事件的概率，而要間接的通過其它較好求的事件以及給定條件求事件概率。

先使用全期望公式，哼哼哈嘿！\(ans=\sum\limits_{i=1}^n\sum_\limits{j=1}^n\mathrm P(\text{起點選}i)\mathrm P(\text{終點選}j)\mathrm E(X\mid \text{起點選}i,\text{終點選}j)\)。那考慮對每個條件期望進行分析，此時樣本空間變成了所有起點為 \(i\) 終點為 \(j\) 的走位方案集合。

接下來使用期望的線性性，哼哼哈嘿！將定義在新概率空間上的 \(X(\omega)\) 等於 \(\omega\) 包含的邊數這個隨機變量按邊拆成若干個小隨機變量，這很自然。設 \(X_e(\omega)\) 表示 \(\omega\) 包含的邊 \(e\) 的次數，那么有 \(X=\sum\limits_eX_e\)，根據線性性有 \(\mathrm E(X)=\sum\limits_e\mathrm E(X_e)\)，對所有 \(\mathrm E(X_e)\) 逐一分析。

令 \(i\) 為根，那么邊可以分成三類。

1. 在子樹 \(j\)，永遠不可能走到，\(X_e=0\) 恆成立，\(\mathrm E(X_e)=0\)；
2. 在 \(i\to j\) 路徑上，只能走一次，\(X_e=1\) 恆成立，\(\mathrm E(X_e)=1\)；
3. 其它情況，那么可以找到這條邊下端與 \(j\) 的 LCA，在 LCA random_shuffle 的時候，如果通向 \(j\) 的兒子排在通向 \(e\) 的兒子前面，那兒肯定走不到 \(e\)，否則肯定能走到 \(e\) 並且還要回來。而這兩種是對稱的，所以 \(\mathrm P(X_e=0)=\mathrm P(X_e=2)=0.5\)，所以 \(\mathrm E(X_e)=1\)。

綜上 \(\mathrm E(X)\) 就是 \(n-sz_j\)。那考慮怎么求這個 \(\mathrm O\!\left(n^2\right)\) 的全期望公式，固定根的時候 \(sz\) 相當於一個樹形 DP，換根就可以了，復雜度線性。

More……