極限理論的意義
極限理論的意義主要在於兩方面：
- 構造漸進檢驗與漸進置信域
- 從理論上研究統計過程的效率
例 1：考慮對於位置參數的經典t檢驗：給定一個\(i.i.d.\)的樣本\(X_1，X_2，…，\)均值\(\mu=E(X_1)\)，我們希望檢驗\(H_0：\mu=\mu_0\)。
- 如果樣本來自正態分布，則在 \(H_0\)下\(\frac{\sqrt{n}(\bar X_n-\mu_0)}{S_n}\)∼\(t_{n-1}\)。當\(|\frac{\sqrt{n}(\bar X_n-\mu_0)}{S_n}|>t_{n-1,\alpha/2}\)時，拒絕原假設\(H_0\) 為對於\(H_0\)水平為\(\alpha\)的檢驗。
- 當樣本不服從正態分布時，上述結論不會總成立。但若樣本的二階矩有限，根據中心極限定理我們可知：當\(n \rightarrow \infty\)時
這時可以構造漸進水平為\(\alpha\)的檢驗：當\(|\frac{\sqrt{n}(\bar X_n-\mu_0)}{S_n}|>z_{\alpha/2}\)時，拒絕原假設\(H_0\) 。
例 2：考慮參數\(\theta\)的極大似然估計\(\hat{\theta}_n\)，其中記總體密度函數為\(f_\theta,\theta\in \mathbb{R}^p\)。由后面的定理可知\(\sqrt{n}(\hat{\theta}_n-\theta)\)具有漸進分布\(N(0,\boldsymbol I_\theta)\),其中\(\boldsymbol{I}_{\boldsymbol{\theta}}=\mathrm{E}\left(\frac{\partial \log f_{\theta}}{\partial \boldsymbol{\theta}} \frac{\partial \log f_{\theta}}{\partial \boldsymbol{\theta}^{\top}}\right)\)，為Fisher信息陣。由此可以構造參數\(\theta\)置信水平漸進為\(1-\alpha\)的置信域：
隨機變量的收斂性
一些定義與記號
-
概率空間 \((\Omega, \mathcal{F}, \mathrm{P})\)
- \(\Omega\) : 樣本空間，為一非空集合
- \(\mathcal{F}\): \(\Omega\)的子集構成的集合，且為\(\sigma\)-域
- \(\mathrm P\): 定義在\(\mathcal{F}\)上的概率測度
-
隨機變量 \(X(w)\) : 從\(\Omega\) 到實數域 \(\mathbb{R}\) 的映射
-
隨機向量：\(\boldsymbol{X}=\left(X_{1}, X_{2}, \ldots, X_{p}\right)^{\top}\) ,其中\(X_i\)為定義在\((\Omega, \mathcal{F})\)的隨機變量
-
定義在\(\mathbb{R}^p\)上的右連續分布函數：\(F_{\boldsymbol{X}}(\boldsymbol{x})=\mathrm{P}(\{w: \boldsymbol{X}(w) \leq \boldsymbol{x}\}),\forall x \in \mathbb{R}^{p}\)
-
對於兩隨機向量 \(\boldsymbol{X}\) 和 \(\boldsymbol{Y}\),如果它們的分布函數相同，即 \(F_{X}=F_{Y}\)，則稱隨機向量 \(\boldsymbol{X}\) 和 \(\boldsymbol{Y}\)依分布相同
依概率收斂
定義2.1： 設\(X_1,X_2,\cdots ,X_n\)和\(X\)為定義在\((\Omega, \mathcal{F}, \mathrm{P})\)上的隨機向量。如果
\[\lim_{n\rightarrow \infty}\mathrm{P}\left(\left|X_{n}-X\right|>\epsilon\right) = 0, \forall \epsilon>0 \]則稱\(X_n\)依概率收斂到\(X\)，通常記作\(X_{n} \stackrel{p}{\rightarrow} X, n \rightarrow \infty\)
注：
- 對於p維隨機向量\(X_1,X_2,\cdots ,X_n\)和\(X\)，
如果\(\left\|\boldsymbol{X}_{n}-\boldsymbol{X}\right\| \stackrel{p}{\rightarrow} 0\),則\(\boldsymbol{X}_{n} \stackrel{p}{\rightarrow} \boldsymbol{X}\)
- 隨機向量的依概率收斂\(\iff\)依分量收斂
幾乎處處收斂
定義2.2: 設\(X_1,X_2,\cdots ,X_n\)和\(X\)為定義在\((\Omega, \mathcal{F}, \mathrm{P})\)上的隨機向量。如果
\[\mathrm{P}\left(\lim _{n \rightarrow \infty}\left|X_{n}-X\right|=0\right)=1 \]則稱\(X_n\)幾乎處處收斂到\(X\)，通常記作\(X_{n} \stackrel{wp1}{\rightarrow} X, n \rightarrow \infty\)
注：
-
幾乎處處收斂強於依概率收斂
-
隨機向量的幾乎處處收斂\(\iff\)依分量收斂
-
幾乎處處收斂的等價刻畫：
\[\lim _{n \rightarrow \infty} \mathrm{P}\left(\left|X_{m}-X\right| \leq \epsilon, \text { all } m \geq n\right)=1, \forall \epsilon>0 \]
r階矩收斂
定義2.3：設\(X_1,X_2,\cdots ,X_n\)和\(X\)為定義在\((\Omega, \mathcal{F}, \mathrm{P})\)上的隨機向量。如果對於\(r>0\)
\[\lim _{n \rightarrow \infty} \mathrm{E}\left|X_{n}-X\right|^{r}=0 \]則稱\(X_n\)r階矩收斂到\(X\)，通常記作\(X_{n} \stackrel{rth}{\rightarrow} X, n \rightarrow \infty\)
注：
- \(r=2\)時成為均方收斂
- \(X_{n} \stackrel{rth}{\rightarrow} X \Rightarrow X_{n} \stackrel{sth}{\rightarrow} X, 0<s<r\)
依分布收斂
定義2.4：設$X_1,X_2,\cdots \(和\)X\(為隨機變量（不一定在同一概率空間），分布函數分別為\)F_{X_1}(\cdot),F_{X_2}(\cdot),\cdots\(和\)F_X(\cdot)$，如果
\[\lim _{n \rightarrow \infty} F_{X_{n}}(x)=F_{X}(x), \text { every continuity point } x \text { of } F_{X} \]則稱\(X_n\)依分布收斂到\(X\)，通常記作\(X_{n} \stackrel{d}{\rightarrow} X, n \rightarrow \infty\)
注：
-
向量收斂與依分布收斂不等價
-
（Portmanteau)\(\boldsymbol{X}_{n} \stackrel{d}{\rightarrow} \boldsymbol{X}\) \(\iff\)\(\mathrm{E}\left\{g\left(\boldsymbol{X}_{n}\right)\right\} \rightarrow \mathrm{E}\{g(\boldsymbol{X})\}\) 對任意有界連續函數 g
依分布收斂的幾種等價刻畫：
令 \(\boldsymbol{X}_{1}, \boldsymbol{X}_{2}, \ldots\) 和 \(\boldsymbol{X}\) 為p維隨機向量
-
(Portmanteau) \(\boldsymbol{X}_{n} \stackrel{d}{\rightarrow} \boldsymbol{X}\) \(\iff\) \(\mathrm{E}\left\{g\left(\boldsymbol{X}_{n}\right)\right\} \rightarrow \mathrm{E}\{g(\boldsymbol{X})\}\) 對任意有界連續函數 \(\mathrm{g}\).
-
(Lévy's Continuity Theorem) \(\boldsymbol{X}_{n} \stackrel{d}{\rightarrow} \boldsymbol{X}\) \(\iff\) \(\varphi \boldsymbol{x}_{n}(\boldsymbol{t}) \rightarrow \varphi_{\boldsymbol{X}}(\boldsymbol{t})\) 對任意 \(\boldsymbol{t} \in \mathbb{R}^{p}\), 其中 \(\varphi_{\boldsymbol{X}}, \varphi \boldsymbol{x}_{1}, \varphi_{\boldsymbol{X}}, \ldots\) 分別為\(\boldsymbol{X}, \boldsymbol{X}_{1}, \boldsymbol{X}_{2}, \ldots\), 的特征函數
-
(Cramér-Wold Device) \(\boldsymbol{X}_{n} \stackrel{d}{\rightarrow} \boldsymbol{X}\) \(\iff\) \(\boldsymbol{c}^{\top} \boldsymbol{X}_{n} \stackrel{d}{\rightarrow} \boldsymbol{c}^{\top} \boldsymbol{X}\) 對任意 \(\boldsymbol{c} \in \mathbb{R}^{p}\).
幾種收斂間的關系
定理：
(i) \(X_{n}\stackrel{w p 1}{\rightarrow} X \Rightarrow X_{n} \stackrel{p}{\rightarrow} X\)
(ii) \(X_{n}\stackrel{rth}{\rightarrow} X \Rightarrow X_{n} \stackrel{p}{\rightarrow} X\)
(iii) \(X_{n} \stackrel{p}{\rightarrow} X \Rightarrow X_{n} \stackrel{d}{\rightarrow} X\)
(iv) If\[\sum_{n=1}^{\infty} \mathrm{P}\left(\left|X_{n}-X\right|>\epsilon\right)<\infty, \text { every } \epsilon>0,{ }（ converges\ completely） \]則 \(X_{n}\stackrel{w p 1}{\rightarrow} X\)
\(O\) 和\(o\)
定義2.5：若\(\forall \epsilon>0,\exist M_{\epsilon}\)和\(N\epsilon\)使得\(P(|X_n|>M_\epsilon)<\epsilon\)對所有的\(n>M_\epsilon\)均成立，則稱\(\{X_n\}\)依概率有界,記作\(X_n=O_p(1)\)
定理（Prohorov）：
\(X_{n} \stackrel{d}{\rightarrow} X \Rightarrow X_{n}=O_{p}(1)\)
若 \(X_{n}=O_{p}(1)\), 則存在子列 \(\{X_{n_i}\}\)和隨機變量\(X\),使得 \(X_{n_{i}} \stackrel{d}{\rightarrow} X\) ,\(i\rightarrow \infty\)
定義2.6：若 \(X_{n} \stackrel{p}{\rightarrow} 0\), 則記作 \(X_{n}=o_{p}(1)\)。
連續映射定理
連續映射定理：令\(g: \mathbb{R}^{p} \mapsto \mathbb{R}^{m}\)為在集合\(C\)中幾乎處處連續的映射。如果\(X_n\)依概率/幾乎處處收斂/依分布收斂到\(X\)，則\(g(X_n)\)依概率/幾乎處處收斂/依分布收斂到\(g(X)\)
Slutsky定理
引理：如果\(X_{n} \stackrel{d}{\rightarrow} X\) 且\(Y_{n}-X_{n} \stackrel{p}{\rightarrow} 0\), 則 \(Y_{n} \stackrel{d}{\rightarrow} X\)
Slutsky定理：令\(X_{n} \stackrel{d}{\rightarrow} X\) 且\(Y_{n} \stackrel{p}{\rightarrow} c\), 其中 \(c\) 為常數。則：
(i) \(X_{n}+Y_{n} \stackrel{d}{\rightarrow} X+c\)
(ii) \(X_{n} Y_{n} \stackrel{d}{\rightarrow} c X\)
(iii) \(Y_{n}^{-1} X_{n} \stackrel{d}{\rightarrow} c^{-1} X\) ，其中 \(c \neq 0\)