本文整理一些與極限和連續有關的概念和定理。
1 實數線的拓撲
我們先從探討“距離”的概念出發。我們知道對於\(x,y\in R\)，可以定義一個非負的Euclidean distance\(|x-y|\)。通過這個，我們可以定義某個點\(x\in R\)的\(\varepsilon\)-鄰域（\(\varepsilon\)-neighbourhood）為集合\(S(x,\varepsilon)=\{y:|x-y|\lt \varepsilon\}\)，其中\(\varepsilon\gt 0\)。
如果對於集合\(A\subseteq R\)，\(\forall x\in A\)，都\(\exists \varepsilon\gt 0\)，使得該點的\(\varepsilon\)-鄰域是\(A\)的子集，這樣的集合\(A\)叫開集（open set）。\(R\)和\(\emptyset\)也都為開集。
\(R\)上的所有開集組成的collection，稱為topology of \(R\)（拓撲），或者usual topology on \(R\)（通常拓撲）。我們還可以在\(R\)的子集或子空間（subspace）上討論topology，對於\(A\subseteq \mathbb{S}\subseteq R\)，如果\(\forall x\in A\)，都\(\exists S(x,\varepsilon)\)，使得\(S(x,\varepsilon)\cap \mathbb{S} \subseteq A\)，就稱\(A\)在\(\mathbb{S}\)中是開的（\(A\) is open in \(\mathbb{S}\)）。比如\([0,1)\)，在\(R\)中不是開的，但在\(\mathbb{S}=[0,2]\)中是開的。所有這些集合定義了relative topology on \(\mathbb{S}\)（相對拓撲），由定義直接可得以下定理。
定理：若\(A\)在\(R\)中是開的，則\(A\cap \mathbb{S}\)在relative topology on \(\mathbb{S}\)中是開的。
對於某個點\(x\in R\)，若\(\forall \varepsilon \gt 0\)，\(A\cap S(x,\varepsilon)\)均為非空集合，則稱\(x\)為集合\(A\)的一個閉包點（closure point），它不一定是\(A\)中的元素。\(A\)的所有的閉包點組成了\(A\)的閉包（closure），記作\(\bar A\)或\((A)^-\)。
對於某個點\(x\in R\)，若它是\(A-\{x\}\)的閉包點，則稱它是\(A\)的會聚點（accumulation point）。若\(x\)是\(A\)的閉包點且\(x\notin A\)，則\(x\)也是\(A\)的會聚點。而那些不是會聚點的閉包點，就是\(A\)的孤點（isolated point）。比如集合\(A=\{0\}\cup[1,2]\)，則\(x=0\)為\(A\)的孤點。
若點\(x\in \bar A\)滿足\(\forall \varepsilon\gt 0\)，\(A^c\cap S(x,\varepsilon)\)均非空，則\(x\)稱為集合\(A\)的邊界點（boundary point）。可以將\(A\)的所有邊界點組成的集合記為\(\partial A\)，則\(\bar A = A\cup\partial A\)。
\(A\)的內部（interior）就是集合\(A^o=A-\partial A\)。
閉集（Closed set）就是包含了該集合自己所有的閉包點的集合，對這樣的集合來說，\(\bar A=A\)。
定理：\(R\)上的開集，其補集是閉集。
這是閉集的另一個定義。可以看出，\(R\)和\(\emptyset\)都既是開集又是閉集。推廣至relative topologies，有如下定理。
定理：若\(A\)在\(\mathbb{S}\subseteq R\)中是開的，則\(\mathbb{S}-A\)在\(\mathbb{S}\)中是閉的。
定理：（1）開集的collection的並是開的；（2）若\(A\)和\(B\)都是開的，那么\(A\cap B\)也是開的。
定理：每個開集\(A\in R\)都可表達為可數個不交開區間的並。
定理：\(\mathscr{B}\)包含了\(R\)中的開集和閉集。
若一個collection \(\mathscr{C}\)滿足對於一個\(A\subseteq R\)，\(A\subseteq \cup_{B\in\mathscr{C}}B\)，則稱\(\mathscr{C}\)為\(A\)的一個覆蓋（covering）。若這里每個\(B\)都是開集，則稱該覆蓋為開覆蓋（open covering）。
定理 （Lindelof's covering theorem）：對於由\(R\)上的開子集組成的任意的一個collection\(\mathscr{C}\)，必定存在可數的subcollection \(\{B_i\in \mathscr{C}, i\in N\}\)，使得
這也就是說，若\(\mathscr{C}\)是\(R\)中某個集合的覆蓋，那么它必定包含了一個可數的子覆蓋。這也叫Lindelof property。
由覆蓋的概念，可以導出一個更重要的概念：緊致性（compactness）：若對於集合\(A\)，每個\(A\)的開覆蓋都包含了一個有限的子覆蓋，則稱\(A\)是緊的（compact）。
理解這個概念的關鍵在於“每個”和“開覆蓋”。舉個例子，對於\((0,1]\)，可數collection\(\{(1/n,1],n\in N\}\)是一個開覆蓋，但沒有有限的子覆蓋，因此\((0,1]\)不是緊的。
若\(\exists x\in A\)和\(\varepsilon \gt 0\)，\(A\subseteq S(x,\varepsilon)\)，則稱\(A\)是有界的（bounded）。換句話說，有界集合必須被一個有限區間所包含。有了有界的概念，我們回到緊致性。
定理：在\(R\)中的一個集合是緊的，當且僅當它是閉的、有界的。
對於\(A\)的子集\(B\)，若\(B\subseteq A\subseteq \bar B\)，則稱\(B\)在\(A\)中稠密（dense）。
定理：若\(A\)是\(R\)上的區間，\(C\subseteq A\)是一個可數集合，則\(A-C\)在\(A\)中稠密。
2 序列和極限
實序列（real sequence）是一個從\(N\)到\(R\)的映射，定義域中的元素稱為indices，它們的值域稱為序列的項/成員/坐標（terms/members/coordinates）。
稱\(\{x_n\}_1^{\infty}\) 收斂於（converge to）極限\(x\)，若\(\forall \varepsilon \gt 0\)，\(\exists N_\varepsilon\)，使得\(\forall n>N_\varepsilon, |x_n-x|\lt \varepsilon\)。若序列趨於\(\pm\infty\)則稱發散（diverge），有時這也叫在\(\bar R\)中收斂，這是為了區別它們與那些不收斂到一個固定點的序列。
定理：任意在緊集中的單調序列均收斂。
即使序列不收斂，也可能會無限次地到達某個點。若存在子序列（subsequence）\(\{x_{n_k},k\in N\}\)和常數\(c\)，使得\(x_{n_k}\to c\)，則稱\(c\)為序列的聚集點（cluster point）。比如序列\(\{(-1)^n,n=1,2,\ldots\}\)，可以用它的奇數位置元素和偶數位置元素分別構造出收斂子列。
子序列的概念很重要。典型的推理路線是這樣的，先確定一個收斂子列（可能是單調序列），再利用序列的其他特性來說明聚集點是一個極限。由於序列的成員都是在緊集中的，一方面緊集是有界的，所以這樣的序列不可能發散至無窮大，另一方面緊集又是閉的，所有的極限點或聚集點都在集合中。
定理：在\(R\)上的緊集中的任意序列，都有至少一個聚集點。
定理：在緊集中的序列，要不就有兩個或更多的聚集點，要不就收斂。
例子：考慮序列\(\{1,x,x^2,\ldots\}\)，若\(|x|\lt 1\)則收斂於\(0\)，若\(x=1\)則收斂於\(1\)，若\(x\gt 1\)則其在\(R\)中發散，或者叫在\(\bar R\)中收斂至\(+\infty\)，若\(x=-1\)則在兩個聚集點\(+1\)和\(-1\)之間搖擺，若\(x\lt -1\)則在\(R\)中發散，或者說在\(\bar R\)中的兩個聚集點\(+\infty\)和\(-\infty\)之間搖擺。
接下來討論實數序列。實數序列\(\{x_n\}\)的上極限（superior limit）定義為
類似可定義下極限（inferior limit）為
當\(\limsup_n x_n\)與\(\liminf_n x_n\)相等，序列收斂。
這幾個概念可用來處理極限問題。有時候，直接假設極限存在是不合理的，但limsup和liminf是總是存在的，只需推導它們，再說明它們相等就行，另一個充分條件是\(\liminf_n x_n\gt \limsup_n x_n\)，也可以推出極限存在。
對於實數序列，有一個判斷收斂的Cauchy准則（Cauchy criterion）：\(\{x_n\}\)收斂，等價於，\(\forall \varepsilon\gt 0\)，\(\exists N_\varepsilon\)，使得對於\(n\gt N_\varepsilon\)，\(m\gt N_\varepsilon\)，有\(|x_n-x_m|\lt \varepsilon\)。滿足這個條件的，也叫Cauchy序列（Cauchy sequence）。滿足本節開頭對收斂的定義的數列必為Cauchy數列，實數Cauchy數列也必定有極限，兩種極限的定義在\(R\)上等價。但Cauchy准則在很多時候更容易檢驗。
在集合\(A\)中的Cauchy序列，它的極限是\(A\)的會聚點；反之，每個\(A\)的會聚點\(x\)，都存在極限為\(x\)的Cauchy序列。因此，極限點（limit point）有時是會聚點（accumulation point）的同義詞。
定理：任意實數都是某個有理數Cauchy序列的極限。
該定理意味着，任一實數的任一\(\varepsilon\)-鄰域中，必定存在一個有理數，即\(Q\)在\(R\)中是稠密的。另外，\(Q\)的補集\(R-Q\)也是稠密的，因此，正常人的直覺“稠密的集合的補集是稀疏的”是錯誤的。
定理：任意開區間都是某個端點為有理數的閉子區間序列的極限。
這說明了，開集序列的極限不一定是開的，閉集序列的極限不一定是閉的。但是，非遞減的開集序列的極限是開的，非遞增的閉集序列的極限是閉的。
3 函數和連續
本節討論函數及其連續性的概念。現有一個在實變量上的函數\(f: \mathbb{S}\mapsto \mathbb{T}\)，\(\mathbb{S}\in R\)，\(\mathbb{T}\in R\)，對於“連續性”（continuity），\(f\)在\(x\in\mathbb{S}\)處連續的正式定義為：\(\forall \varepsilon \gt 0\)，\(\exists \delta \gt 0\)，使得只要\(|y-x|\lt \delta\)就有\(|f(y)-f(x)|\lt \varepsilon\)。若\(f\)在\(\mathbb{S}\)的每個點上都連續，則稱它在\(\mathbb{S}\)上連續。
定理：假設\(f: \mathbb{S}\mapsto \mathbb{T}\)在\(\mathbb{S}\)的所有點上連續，那么，若\(A\)在\(\mathbb{T}\)上是開的則\(f^{-1}(A)\)在\(\mathbb{S}\)上是開的，若\(A\)在\(\mathbb{T}\)上是閉的則\(f^{-1}(A)\)在\(\mathbb{S}\)上是閉的。
注意，這條定理沒有說，若\(A\)是開的則\(f(A)\)是開的。如果一個映射滿足若\(A\)是開的則\(f(A)\)是開的，可以稱為開映射（open mapping）。由於\(f(A^c)\neq [f(A)]^c\)，因此開映射未必是閉映射（closed mapping）。但有一種特殊的函數，就是同胚（homeomorphism）。同胚是這樣的一種函數，它是\(1\)-\(1\) onto（滿射、單射）、連續，並且反函數也連續。若\(f\)為同胚，則\(f^{-1}\)也是同胚，同胚既是開映射，又是閉映射。
目前我們定義的連續，是關於函數在某個點處的性質，並不是函數自身的性質，為此還需要引入一致連續（uniformly continuous）的概念：\(\forall x,y\in \mathbb{S}\)，\(\forall \varepsilon\gt 0\)，\(\exists \delta\gt 0\)，使得，只要\(|x-y|\lt \delta\)，就有\(|f(x)-f(y)|\lt \varepsilon\)。
定理：如果一個函數在緊集\(\mathbb{S}\)上處處連續，則它在\(\mathbb{S}\)上必定是有界且一致連續的。
連續性是關於函數光滑性（smoothness）的最弱的概念，另外還有Lipschitz條件、可微、有界變差等概念。
我們來看Lipschitz條件（Lipschitz condition）：對於某個\(\delta\gt 0\)，\(\forall y\in S(x,\delta)\)，若\(\exists M\gt 0\)，使得\(|f(y)-f(x)|\leq Mh(|x-y|)\)，其中\(h:R^+ \mapsto R^+\)滿足當\(d\downarrow 0\)時\(h(d)\downarrow 0\)，則稱函數\(f\)在點\(x\)處滿足Lipschitz條件。若固定\(M\)，\(\forall x,y\in \mathbb{S}\)上面的條件都成立，則稱\(f\)滿足一致Lipschitz條件（uniform Lipschitz condition）。
可微（diffrentiable）也是一種光滑性的概念。
當定義域是區間時，另一個光滑性的概念是有界變差（bounded variation）。若\(\exists M\lt \infty\)，使得，對於區間\([a,b]\)，任意一種用有限個點\(a=x_0\lt x_1\lt \cdots\lt x_n = b\)產生的划分，滿足\(\sum_{k=1}^{n} |f(x_i)-f(x_{i-1})|\leq M\)，則稱函數\(f\)是有界變差的。
定理：\(f\)是有界變差的，當且僅當存在非遞減函數\(f_1\)和\(f_2\)使得\(f=f_2-f_1\)。
另外，在\([a,b]\)上由\(h(|x-y|)=|x-y|\)滿足一致Lipschitz條件的函數，在\([a,b]\)上是有界變差的。
4 向量向量與函數
以上幾節的結論，一般都可推廣到\(R^k\)空間上。
定理：現有\(f:\mathbb{S}\mapsto\mathbb{T}\)，其中\(\mathbb{S}\in R^k\)，\(\mathbb{T}\in R^m\)，當且僅當\(f\)是連續的時，有：若\(A\)在\(\mathbb{T}\)上是開的則\(f^{-1}(A)\)在\(\mathbb{S}\)上是開的，若\(A\)在\(\mathbb{T}\)上是閉的則\(f^{-1}(A)\)在\(\mathbb{S}\)上是閉的。
5 函數的序列
取函數\(f_n:\Omega \mapsto \mathbb{T}\)，其中\(\mathbb{T}\in R\)，\(\Omega\)可以是任意集合（不一定是\(R\)的子集），則\(\{f_n,n\in N+\}\)就是函數的序列。
若存在一個\(f\)，\(\forall \omega\in\Omega\)，\(\forall \varepsilon\gt 0\)，\(\exists N_{\varepsilon \omega}\)，使得當\(n\gt N_{\varepsilon \omega}\)時必有\(|f_n(\omega)-f(\omega)|\lt \varepsilon\)，則稱\(f_n\)在\(\Omega\)上逐點收斂於\(f\)（converge to \(f\), pointwise on \(\Omega\)）。
同理，我們可以定義函數序列的一致收斂（uniform convergence）：若存在一個\(f\)，使得\(\forall \varepsilon \gt 0\)，都\(\exists N\)使得當\(n\gt N\)時有\(\sup_{\omega\in\Omega} |f_n(\omega)-f(\omega)|\lt \varepsilon\)，則稱\(f_n\)在\(\Omega\)上一致收斂於\(f\)（converge to \(f\) uniformly on \(\Omega\)）。
6 Summability與序關系
對於實數序列\(\{x_n\}_1^{\infty}\)，它的項的和稱為級數（series），寫為\(\sum_{n=1}^{\infty} x_n\)（或\(\sum x_n\)）。序列\(\{\sum_{m=1}^{n} x_m,n\in N+\}\)稱為級數的部分和（partial sums）。對於一個級數來說，若部分和收斂於有限的極限，則稱該級數收斂。另外，若單調序列\(\{\sum_{m=1}^{n} |x_m|,n\in N+\}\)收斂，則稱對應的級數絕對收斂（converge absolutely）。
比如幾何級數（geometric series）\(\sum_{j=1}^{\infty} x^j\)，若\(|x|\lt 1\)則它收斂於\(1/(1-x)\)，且它也是絕對收斂的，若\(x=-1\)則它在兩個聚集點\(-1\)和\(0\)之間搖擺，若\(x\)取其他值則它發散。
定理：若級數絕對收斂，則它必收斂。
對應的一個術語叫summability，有時翻譯成可求和性，但它是對應於數列的。若級數\(\sum x_n\)收斂則稱\(\{x_n\}_1^{\infty}\)是summable，若\(\{|x_n|\}_1^{\infty}\)是summable則稱\(\{x_n\}_1^{\infty}\)是absolutely summable。Summable序列必定收斂於\(0\)，反之不然，除非尾部和（tail sums）收斂於\(0\)，這是個充要條件，見下面定理。
定理：\(\{x_n\}_1^{\infty}\)是summable，當且僅當\(n\to\infty\)時有\(\sum_{m=n}^{\infty} x_m\to 0\)。
還有一個比普通的收斂更弱的概念：若\(\{n^{-1}\sum_{m=1}^{n} x_m\}_{1}^{\infty}\)收斂，則稱\(\{x_n\}_1^{\infty}\)是Cesaro-summable的。
定理：若\(\{x_n\}_1^{\infty}\)收斂於\(x\)，則它的Cesaro和（Cesaro sum）也收斂於\(x\)。
注意，不收斂的序列也可能是Cesaro-summable的，比如序列\(\{(-1)^n\}_0^{\infty}\)，它不收斂，它的Cesaro和收斂於\(0\)，它的部分和序列\(\{\sum_{m=0}^{n}(-1)^m\}_0^{\infty}\)的Cesaro和收斂於\(1/2\)。
記號\(x_n\sim a_n\)表示，\(\exists N\gt 0,A\gt 0, B\geq A\)，使得\(\inf_{n\geq N}(x_n / a_n)\geq A\)，\(\sup_{n\geq N}(x_n / a_n)\geq B\)。下面是有關收斂速率的定理。
定理：\(\{x_n\}\)為正的實數序列，\(x_n\sim n^{\alpha}\)，則
- 若\(\alpha \gt -1\)，則\(\sum_{m=1}^{n} x_m\sim n^{1+\alpha}\)；
- 若\(\alpha = -1\)，則\(\sum_{m=1}^{n} x_m \sim \log n\)；
- 若\(\alpha \lt -1\)，則\(\sum_{m=1}^{n} x_m \lt \infty\)且\(\sum_{m=n}^{\infty} x_m=O(n^{1+\alpha})\)。
事實上，\(x_n\sim n^{\alpha}\)就意味着存在\(A\gt 0\)和\(B \geq A\)，使得\(A\sum_{m=N}^{n}m^\alpha \leq \sum_{m=N}^{n}x_m \leq B\sum_{m=N}^{n}m^\alpha\)，而\(n\to\infty\)時\(\sum_{m=1}^{n} m^\alpha\)的極限值，就是以\(\alpha\)為參數的Riemann Zeta函數，其中\(\alpha\lt -1\)。
若對於\(x\gt 0\)和\(-\infty\lt\rho\lt \infty\)，當\(v\to\infty (0)\)時，有\(U(vx)/U(v)\to x^\rho\)，則稱\(U\)是regularly varying at infinity (zero)。若對於\(x\gt 0\)，當\(v\to\infty (0)\)時，有\(L(vx)/L(v)\to 1\)，則稱\(L\)是slowly varying at infinity (zero)。顯然，一個regularly varying函數\(U\)可以寫作\(U(v)=v^\rho L(v)\)，其中\(L\)是slowly varying的。舉個例子，\((\log v)^\alpha\)對於任意\(\alpha\)都是slowly varying at infinity。
這兩種函數都定義在實數上，但也可以限制在\(N^+\)上，這樣就可以將它們的概念引入到正數序列上。
定理：若\(L\)是slowly varying at infinity，則\(\forall \delta\gt 0\)，\(\exists N\geq 1\)，使得\(\forall v\gt N\)，都有\(v^{-\delta} \lt L(v) \lt v^{\delta}\)。
推論：若\(x_n=O(n^\alpha L(n))\)，則\(\sum_{n=1}^{\infty} x_n \lt\infty\)，這對於任意的\(\alpha \lt -1\)和slowly varying at infinity的函數\(L(n)\)都成立。
定理：若\(x_n\sim 1/[n(\log n)^{1+\delta}]\)，\(\delta\gt 0\)，則\(\sum_{n=1}^{\infty} x_n \lt\infty\)。若\(\delta =0\)，則\(\sum_{n=1}^{\infty} x_n \sim \log\log n\)。
定理（Feller，1971）：若正的單調函數\(U(v)\)滿足\(\forall x\in D\)，\(\dfrac{U(vx)}{U(v)}\to\Psi(x)\)，其中\(D\)在\(R^+\)上稠密，\(0\lt \Psi(x)\lt \infty\)，則必有\(\Psi(x)=x^\rho\)，其中\(-\infty\lt \rho\lt\infty\)。
定理：單調的regularly varying的函數的導數，必定regularly varying at \(\infty\)。
7 Arrays
所謂array，就是定義域為可數的linearly ordered的集合的Cartesian product（或它的子集）的映射。
有限個序列組成的collection\(\{\{x_{nt},t=1,\ldots,k_n\},n\in N^+\}\)，\(n\to\infty\)時有\(k_n \uparrow \infty\)，稱這樣的collection為triangular array。
Toeplitz's Lemma：假設\(\{y_n\}\)是實數序列，\(y_n\to\infty\)，若\(\{\{x_{nt},t=1,\ldots,k_n\},n\in N^+\}\)為triangular array，並且
- 對於每個固定的\(t\)，當\(n\to 0\)時，\(x_{nt}\to 0\)；
- \(\lim\limits_{n\to\infty}\sum\limits_{t=1}^{k_n} |x_{nt}| \leq C \lt \infty\)；
- \(\lim\limits_{n\to\infty}\sum\limits_{t=1}^{k_n} x_{nt} = 1\)，
則\(\sum_{t=1}^{k_n} x_{nt} y_n \to y\)。對於\(y=0\)，條件3可忽略。
滿足上述引理的條件的一個典型例子就是\(x_{nt}=(\sum_{s=1}^{n} y_s)^{-1}y_t\)，其中\(\{y_t\}\)為正數序列且\(\sum_{s=1}^n y_s\to \infty\)。
Kronecker's Lemma：考慮正數序列\(\{a_t\}_1^\infty\)和\(\{x_t\}_1^\infty\)，其中\(a_t\uparrow\infty\)，若當\(n\to\infty\)時，\(\sum_{t=1}^{n} x_t/a_t\to C\lt \infty\)，則\(\dfrac{1}{a_n}\sum_{t=1}^{n}x_t\to 0\)。
關於array的收斂性，可以理解為在序列上的概念延伸。考慮子序列\(\{\{x_{m{n_k}}, k\in N^+\},m\in N^+\}\)，其中\(\{n_k,k\in N^+\}\)是正整數的遞增序列。若\(x_m = \lim_{k\to\infty} x_{m n_k}\)對於每個\(m\in N^+\)都存在，則稱array就是收斂的，它的極限就是無窮序列\(\{x_m,m\to\infty\}\)，至於這個序列是否收斂，那就是另外一個問題了。
現在考慮一個有界array即\(\sup_{k,m} |x_{m{n_k}}|\leq B\lt \infty\)，由前文定理可知，\(R\)上緊集中的任意序列必有至少一個聚集點，可將\(\{x_{m{n_k}},k\in N^+\}\)的某個聚集點記為\(x_m\)，這是對於array內部的序列來說的聚集點。那么，對於整個array來說，它有聚集點嗎？有如下定理。
定理：對於任一有界array \(\{\{x_{m{n_k}}, k\in N^+\},m\in N^+\}\)，都存在一個對應的的序列\(\{x_m\}\)，它是當\(k\to\infty\)時\(\{\{x_{m{n_k^*}}, k\in N^+\},m\in N^+\}\)的極限，其中\(\{n^*_k\}\)是\(\{n_k\}\)的子序列，且對於每個\(m\)都相同。
參考文獻
- Davidson, J., 1994. Stochastic limit theory: An introduction for econometricians. OUP Oxford.