note 前半部分是Analytic Combinatorics by Philippe Flajolet, Robert Sedgewick的
III.2. Bivariate generating functions and probability distributions 這一節的筆記
note 2020-09-17 19:12 增加了《具體數學》里的PGF部分
隨機結構舉例 two classical combinatorial distributions
PGF Probability generating functions定義
\[p(u)=\sum_{k} \mathbb{P}(X=k) u^{k} \]
當然，能從BGF推到PGF
矩 Moments
The (power) moments are （r階矩定義）
\[\mathbb{E}\left(X^{r}\right):=\sum_{k} \mathbb{P}\{X=k\} \cdot k^{r} \]
The factorial moment defined for order r as (r order-階乘矩定義)
\[E[X(X-1) \cdots(X-r+1)] \]
從BGFs 推到 Moments
例題
二項分布的r order-階乘矩
\[f_{n,k}=\binom{n}{k} \]
先算出OBGF
\[W(z,u)=\frac{1}{1-z-zu} \]
算出對\(u\)的\(r\)階偏導,再取\(u=1\)
\[\left.\frac{\partial^{r}}{\partial u^{r}} W(z, u)\right|_{u=1}=\frac{r ! z^{r}}{(1-2 z)^{r+1}}=\frac{r ! (2z)^{r}}{2^r(1-2 z)^{r+1}} \]
對\([z^n]\)反演得到【以\(n\)為變量，\(r\)為參數的某表達式】 (分子)
\[\left.\left[z^{n}\right] \partial_{u}^{r} W(z, u)\right|_{u=1}=\frac{r!}{2^r}\binom{n}{r}2^n \]
\(W(z,1)\)對\([z^n]\)反演得到 (分母)
\[\left[z^{n}\right] W(z, 1)=[z^n]\frac{1}{1-2z}=2^n \]
分子分母代入這個公式，得到r order-階乘矩
\[\mathbb{E}_{\mathcal{A}_{n}}(\chi(\chi-1) \cdots(\chi-r+1))=\frac{\left.\left[z^{n}\right] \partial_{u}^{r} A(z, u)\right|_{u=1}}{\left[z^{n}\right] A(z, 1)}=\frac{r!}{2^r}\binom{n}{r} \]
接着沒事可以算算期望，方差
期望（1 order-階乘矩）
\[\mathbb{E}_{\mathcal{A}_{n}}(\chi)=\frac{n}{2} \]
用公式\(\mathbb{E}_{\mathcal{A}_{n}}\left(\chi^{2}\right)=\frac{\left.\left[z^{n}\right] \partial_{u}^{2} A(z, u)\right|_{u=1}}{\left[z^{n}\right] A(z, 1)}+\frac{\left.\left[z^{n}\right] \partial_{u} A(z, u)\right|_{u=1}}{\left[z^{n}\right] A(z, 1)}\)得到二次矩
\[\mathbb{E}_{\mathcal{A}_{n}}(\chi^2)=\frac{n(n-1)}{4}+\frac{n}{2}=\frac{n(n+1)}{4} \]
使用方差公式\(\mathbb{V}(X)=\mathbb{E}\left(X^{2}\right)-\mathbb{E}(X)^{2}\)得到方差
\[\mathbb{V}(\chi)=\frac{n(n+1)}{4}-\frac{n^2}{4}=\frac{n}{4} \]
附錄
下面的內容來自《具體數學》中概率生成函數小節
為什么要使用概率生成函數？\(G(z)=\sum \Pr(X=k)z^k\)
一大長處是可以簡化均值和方差的計算。（嗯這兩個公式挺好證的，把右邊展開成和式）
\[Mean(G)=G'(1)\\ Var(G)=G''(1)+G'(1)-G'(1)^2\\ E[G^2]=G''(1)+G'(1) \]
第二大長處是：在許多重要的情形，它們都是\(z\)的比較簡單的函數
第三大長處是：概率生成函數的乘積對應於(相互獨立的)隨機變量之和
然后有意思的是引入了累積量，和多階矩、r-order階乘矩很是像，都是數字特征里更加“高次”的東西。
定義\(\kappa_i\)是累積量，由下面的公式給出。由此定義式可見看出，由於【對數變乘為加】以及【概率生成函數的乘積對應於隨機變量之和】，所以：獨立隨機變量之和的所有累積量也可由原來的對應累積量相加得到。
\[\ln G(e^t)=\frac{\kappa_1}{1!}t+\frac{\kappa_2}{2!}t^2+\frac{\kappa_3}{3!}t^3+\frac{\kappa_4}{4!}t^4+\dots \]
定義\(\alpha_m\)是階乘矩\(\alpha_m=E[X(X-1) \cdots(X-m+1)]\)
定義\(\mu_m\)是\(m\)階矩，\(\mu_m=E[X^m]\)
把PGF \(G(e^t)\)各種改寫，比對系數，得到這三個“高次量”的相互轉換
拿\(\kappa_i\)寫\(G(e^t)\) (把累計量的定義式取指數)
\[G(e^t)=1+\frac{\frac{\kappa_1}{1!}t+\frac{\kappa_2}{2!}t^2+\dots}{1!}+\frac{(\frac{\kappa_1}{1!}t+\frac{\kappa_2}{2!}t^2+\dots)^2}{2!}+\dots \]
拿\(\mu_m\)寫
\[\begin{aligned} G(e^t)=\sum\limits_{k\geq 0}\Pr(X=k)e^{kt}&=\sum\limits_{k,m\geq 0}\Pr(X=k)k^m\cdot\frac{t^m}{m!}\\ &=1+\frac{\mu_1}{1!}t+\frac{\mu_2}{2!}t^2+\frac{\mu_3}{3!}t^3+\dots \end{aligned} \]
拿\(\alpha_m\)寫
因為
\[\begin{aligned} G(1+t)&=G(1)+\frac{G'(1)}{1!}t+\frac{G''(1)}{2!}t^2+\cdots\\ &=1+\frac{\alpha_1}{1!}t+\frac{\alpha_2}{2!}t^2+\cdots \end{aligned} \]
於是
\[\begin{aligned} G(e^t)&=1+\frac{\alpha_1}{1!}(e^t-1)+\frac{\alpha_2}{2!}(e^t-1)^2+\cdots\\ &=1+\frac{\alpha_1}{1!}(t+\frac{t^2}{2}+...)+\frac{\alpha_2}{2!}(t^2+t^3+...)+\cdots \end{aligned} \]
