RE:ゼロから始める PKU 生活 episode 1
zsy也成為大學生了呢!開學都一周了才意識到嗎
也想不到有什么成體系的內容可以完整地記錄下來,索性就每天隨便寫點東西吧。
9.25
互信息(Mutual Information)
首先定義一下信息。一個離散隨機變量\(X\)的信息定義為
兩個離散隨機變量\(X,Y\)的互信息定義為
互信息顧名思義就是指變量\(X,Y\)之間共享的信息。比方說假如\(X,Y\)相關性很強,那么在傳輸了\(X\)后,傳輸\(Y\)所需要的信息量就會大大減少。
一些性質
非負性
琴生不等式:若\(f(x)\)是\([a,b]\)上的凸函數(默認定義為下凸),\(x_1,x_2...x_n \in [a,b], 0 \le a_1, a_2 ... a_n \le 1, \sum_{i=1}^na_i=1\),則
\[f(\sum_{i=1}^na_ix_i)\le \sum_{i=1}^na_if(x_i) \]
由於\(f(x)=\log x\)是上凸函數(不等號反向),故將\(a_i = p(x,y), x_i = \frac{p(x)p(y)}{p(x,y)}\)代入可得
因此\(I(X;Y) \ge 0\)。
對稱性
直觀理解即可,即,\(X,Y\)之間的互信息,等於在傳輸\(X\)后可以少傳輸的\(Y\)的信息,等於在傳輸\(Y\)后可以少傳輸的\(X\)的信息。
下面推導一下\(I(X;Y)=H(Y)-H(Y|X)\):
9.26
一些數學題
證明:\(\sup_{n \in \mathbb N}\{sin(n)\}=1\)。
考慮證明一個一般化的命題:\(\alpha\)是一個無理數,\(\{n\alpha-\lfloor n\alpha\rfloor:n \in \mathbb N\}\)在\((0,1)\)上稠密。稠密就是指任意一個區間里都存在,規范化定義為:\(\forall (l,r) \subset (0,1),\exists k\in \mathbb N, s.t. k\alpha-\lfloor k\alpha\rfloor\in(l,r)\)。
這個命題可以等價於:\(\forall m \in \mathbb N, \exists k\in \mathbb N, s.t. k\alpha-\lfloor k\alpha\rfloor < \frac 1m\),證明這個命題可以考慮\(\alpha-\lfloor\alpha\rfloor, 2\alpha-\lfloor2\alpha\rfloor...(m+1)\alpha-\lfloor(m+1)\alpha\rfloor\)這\(m+1\)個數,在\((0,\frac 1m),(\frac 1m,\frac 2m)...(\frac{m-1}m,1)\)這\(m\)個區間中至少存在一個區間包含了至少兩個數,那么這兩數的差就必然\(< \frac 1m\)。
回到原問題,只需要證明\(\forall\epsilon>0, \exists n \in \mathbb N, s.t.1-\epsilon < sin(n) < 1\),即\(\frac{\arcsin(1-\epsilon)}{2\pi}<\frac n{2\pi}-\lfloor\frac n{2\pi}\rfloor<\frac 14\),利用稠密性說明即可。
證明:\(\mathbb Q(\sqrt[n]2)=\{\sum_{i=0}^{n-1}a_i\sqrt[n]{2^i}|a_0, a_1...a_{n-1}\in \mathbb Q\}\)是一個數域。
主要考慮證明\(\mathbb Q(\sqrt[n]2)\)對除法封閉。進一步的,我們證明\(\forall x = \sum_{i=0}^{n-1}a_i\sqrt[n]{2^i}\in \mathbb Q(\sqrt[n]2), x \neq 0, \exists y \in \mathbb Q(\sqrt[n]2), s.t. xy=1\)。
定義\(\xi_k=\sqrt[n]2e^{\frac{2\pi ik}{n}}(k=0,1...n-1)\)為方程\(x^n-2=0\)的\(n\)個解,記\(f(x)=\sum_{i=0}^{n-1}a_ix^i\)。考慮構造矩陣
觀察發現
於是有
由於\(f(\xi_i) \neq 0\),故\(|A| \neq 0\)。這說明方程組
有唯一解,即可以唯一構造\(y=\sum_{i=0}^{n-1}b_i\sqrt[n]{2^i}\)使得\(xy=1\)成立。
10.12
最近有點忙,隨緣更。
數分習題課小記
\((\frac{*}{\infty})\)型Stolz定理的證明
\(\{b_n\}\)嚴格單調增且\(\lim\limits_{n \to \infty}b_n = + \infty\)
證明:若\(\lim\limits_{n \to \infty}\frac{a_{n+1}-a_n}{b_{n+1}-b_n}=l\),則\(\lim\limits_{n \to \infty}\frac{a_n}{b_n}=l\)。
當\(l=0\)時,\(\lim\limits_{n \to \infty}\frac{a_{n+1}-a_n}{b_{n+1}-b_n}=0\),也即\(\forall \epsilon > 0, \exists N \in \mathbb{N}, s.t.\forall n > N, |\frac{a_{n+1}-a_n}{b_{n+1}-b_n}| < \epsilon,|a_{n+1}-a_n|<\epsilon(b_{n+1}-b_n).\)
累加若干不等式可以得到
不等式兩邊同除以\(b_n\)
\(a_N,b_N\)是常數,而\(\lim\limits_{n \to \infty}b_n = + \infty\),故\(|\frac{a_n}{b_n}|<\epsilon(1-\frac{b_N}{b_n})+\frac{a_N}{b_n}\)兩邊取極限得\(\lim\limits_{n \to \infty}|\frac{a_n}{b_n}| < \epsilon\)。故\(\lim\limits_{n \to \infty}|\frac{a_n}{b_n}| = 0\)。
當\(l \neq 0\)且有限時,構造序列\(a_n' = a_n + lb_n\),則有
當\(l = \pm \infty\)時,以\(+ \infty\)為例,不難證明此時\(\{a_n\}\)也滿足嚴格單調增,且\(\lim\limits_{n \to \infty} a_n = + \infty\),從而說明\(\lim\limits_{n \to \infty}\frac{b_{n+1}-b_n}{a_{n+1}-a_n}=0_+\),利用\(l=0\)時的結論即可完成證明。
例題
判斷\(\{x_n\},\{y_n\}\)極限的存在性,若存在則求之。
由數學歸納法可證\(x_n^2+y_n^2 = 1\)。
由此可設\(x_n = \cos \theta_n, y_n = \sin \theta_n\)
可知
有界性:\(\theta_1 = \arcsin \frac 45 \in (0,\pi)\),若\(\theta_k < \pi\),記\(\theta_k = \pi - \epsilon(\epsilon > 0)\),則\(\theta_{k+1} = \pi - \epsilon + \sin(\pi - \epsilon) = \pi - \epsilon + \sin \epsilon < \pi\),因此\(\theta_n \in (0,\pi)\)對於\(\forall n \in \mathbb N\)均成立。
單調性:\(\theta_n \in (0,\pi)\)故\(\sin \theta_n > 0\),故成立。
根據單調收斂原理\(\{\theta_n\}\)收斂,易得其極限為\(\pi\)。
故
例題
\(\{q_n\}\)滿足\(0 < q_n < 1,(1-q_n)q_{n+1} > \frac 14\)。證明:\(\{q_n\}\)單調遞增且極限為\(\frac 12\)。
反證。若\(\exists n, s.t. q_{n+1} \le q_n\),則\(\frac 14 < (1-q_n)q_{n+1} \le (1-q_n)q_n \le \frac 14\)矛盾,故\(\{q_n\}\)單調遞增。
因為單調有界,所以極限存在,設之為\(a\),則\((1-a)a \ge \frac 14\),可知\(a = \frac 12\)。
10.15
高代習題課小記
求行列式
補充一行一列,看成是關於\(y\)的\(n\)次多項式
所以
包含\(e\)的最小數域\(\mathbb Q(e)\)
是\(\{\frac{p(e)}{q(e)}\}\),其中\(p,q\)是有理多項式且\(q(e) \neq 0\)。
10.16
序列\(\{x_n\}\)滿足$\forall n,m \in \mathbb N, 0 \le x_{n+m}\le x_n + x_m $
求證\(\{\frac{x_n}{n}\}\)收斂。
記\(a = l_1 = \inf_{n \ge 1}\{\frac{x_n}{n}\}\),顯然有\(a \le \sup_{n \ge 1}l_n=\underline\lim\limits_{n\to\infty}\frac{x_n}{n}\)。
由於\(a\)是下確界,故\(\forall \varepsilon > 0, \exists N,s.t. \frac{x_N}{N} < a + \varepsilon.\)
$\forall n > N, $ 將 \(n\) 寫成 \(mN+k\) 的形式,其中 \(0 \le k < N,\) 於是
考慮到\(\lim\limits_{n \to \infty}\frac{mN}{n}=1\),兩邊取上極限可得
由於\(\varepsilon\)的任意性,故
綜上,
即
\(\{\frac{x_n}{n}\}\)極限存在。
10.19
zyy教育的是
當\(\lim\limits_{n\to\infty}(a_{n+1}-a_n)=a\)時,構造\(b_n=n\),根據\(Stolz\)定理可以得到\(\lim\limits_{n\to\infty}\frac{a_n}{n}=a\)。
其實是挺trivial的東西,可能是我太傻了吧。
10.20
謝惠民3.7.3第一組參考題10.
\(\{x_n\}\)是正數列,求證\(\overline\lim\limits_{n\to\infty}n(\frac{1+x_{n+1}}{x_n}-1) \ge 1\)
反證,假設\(\overline\lim\limits_{n\to\infty}n(\frac{1+x_{n+1}}{x_n}-1) = \inf_{k \ge 1}\sup_{n \ge k}\{n(\frac{1+x_{n+1}}{x_n}-1)\}< 1\),故\(\exists N \in \mathbb N, s.t.\forall n > N, n(\frac{1+x_{n+1}}{x_n}-1) < 1\)
故\(\{\frac{x_n}{n}\}\)嚴格遞減,且\(\frac{x_n}{n}-\frac{x_{n+m}}{n+m} > \sum_{k = n+1}^{n+m}\frac{1}{k}\),當固定\(n\)時,\(\lim\limits_{m \to \infty}(\frac{x_n}{n}-\frac{x_{n+m}}{n+m}) \ge \lim\limits_{m \to \infty}\sum_{k = n+1}^{n+m}\frac{1}{k} = + \infty\)
因此\(\exists N\),\(\frac{x_N}{N} < 0\)與題設不符。
10.21
淑芬習題2 29.
設\(\{a_n\} \subset [a, b]\),求證若\(\{a_n\}\)發散,則\(\{a_n\}\)必有兩個子列收斂於不同的數。
證明:由於\(\{a_n\}\)有界,故\(\exists \{n_k\}, s.t.\lim\limits_{k\to\infty}a_{n_k} = c\),因為\(c\)不是\(\{a_n\}\)的極限,故\(\exists \min\{c-a, b-c\} > \delta > 0, s.t.(c-\delta, c+\delta)\)區間外有\(\{a_n\}\)的無窮多項,那么\([a,c-\delta]\)和\([c+\delta, b]\)中至少一個區間內包含\(\{a_n\}\)的無窮多項,將這些項視作一個序列,根據Bolzano-Weierstrass定理,必存在一個收斂子列收斂於\(c'\notin (c-\delta, c+\delta)\),即\(c' \neq c\)。
淑芬習題2 33.
求證:若非負有界序列\(\{x_n\}\)對任何序列\(\{y_n\}\)都滿足下列等式之一成立:
則序列\(\{x_n\}\)收斂。
證明:反證,假設\(\{x_n\}\)發散,則\(\{x_n\}\)中必存在兩個子序列分別收斂於\(\{x_n\}\)上下極限,記\(\lim\limits_{k\to\infty}x_{n_k} = \overline\lim\limits_{n\to\infty} x_n = a, \lim\limits_{k\to\infty}x_{m_k} = \underline\lim\limits_{n\to\infty} x_n = b\)其中\(a > b\),不難說明\(\{n_k\}\)與\(\{m_k\}\)的交集只有有限項,在兩個子序列中分別去除這部分交集后,可以認為\(\{n_k\}\cap\{m_k\} = \varnothing\)。
構造序列\(\{y_n\}\)滿足
不難發現
矛盾。故\(\{x_n\}\)收斂。
10.22
三對角行列式的通項
行列式
顯然有
記\(\alpha, \beta\)為方程\(x^2 - ax + bc = 0\)的兩根,可得\(D_n\)的通項公式為
可以用特征方程解線性遞推的那一套理論就能算出來,放在這兒就當是記個結論。
(\(\alpha, \beta\)可以取到復數,最終算出來的通項仍然會是實數)
高代習題課小記
例題
在\(\mathbb C^n\)中解方程組
記\(S_k = \sum_{i=1}^nx_i^k, P_k = \sum_{i_1i_2\cdots i_k}\prod_{j=1}^kx_{i_j}\)
考慮到\(S_k = S_{k-1}P_1 - S_{k-2}P_2 + \cdots + (-1)^{k-1}S_1P_{k-2}+(-1)^{k-1}kP_k\)(牛頓恆等式)
根據題意\(S_1 = S_2 = \cdots = S_n = 0\)
\(\Rightarrow P_1 = P_2 = \cdots = P_n = 0\)
$\Rightarrow \prod_{i=1}^n(y+x_i) = y^n $
\(\Rightarrow x_1 = x_2 = \cdots = x_n = 0\)
例題
若行列式
中元素滿足
求證\(D > 0\)
證明:考慮歸納,顯然當\(n=2\)時成立
其中\(b_{ij}=a_{ij}-a_{1j}\frac{a_{i1}}{a_{11}}\)
故\(D = a_{11}\begin{vmatrix} b_{22}&\cdots&b_{2n}\\ \vdots&\ddots&\vdots\\ b_{n2}&\cdots&b_{nn} \end{vmatrix}_{n-1}\)
后面那個行列式滿足題設條件,由歸納可知\(D > 0\)
線性空間的交與並
交是子空間
並不是子空間(考慮兩條不重合的直線)
不過\(W_1 + W_2 = \{\alpha + \beta| \alpha \in W_1, \beta \in W_2\}\)是子空間
10.24
一道有趣(?)的幾何題
理論上記幾何題是沒什么太大意義的,所以寫在這里可能只是比較有意思吧。
給定\(\Delta ABC\),在其內部隨機選一個點\(P\),求\(E[\max\{S_{\Delta PAB}, S_{\Delta PBC}, S_{\Delta PCA}\}]\)。
答案只與\(S_{\Delta ABC}\)正相關(想一想為什么?)可以認為\(S_{\Delta ABC} = 1\)。
考慮\(\min-\max\)容斥,可以發現(猜到?)所有\(\min\)里面項數相同的\(E\)的值都是一樣的。
所以只要求\(E[S_{\Delta}], E[\min\{S_{\Delta_1},S_{\Delta_2}\}], E[\min\{S_{\Delta_1},S_{\Delta_2}, S_{\Delta_3}\}]\)。
定義\(f(x) = P(E \ge x)\)即答案大於等於\(x\)的概率,那么\(\int_{0}^{1}f(x)dx\)就是答案。這里的\(x\)其實也就是內部三角形高的縮小比例。
\(E\)取\(E[S_{\Delta}]\)時,\(f(x) = (1-x)^2, \int_0^1f(x)dx=\frac 13\);
\(E\)取\(E[\min\{S_{\Delta_1},S_{\Delta_2}\}]\)時,\(f(x) = \max\{(1-2x)^2,0\}, \int_0^1f(x)dx=\frac 16\);
\(E\)取\(E[\min\{S_{\Delta_1},S_{\Delta_2}, S_{\Delta_3}\}]\)時,\(f(x) = \max\{(1-3x)^2,0\}, \int_0^1f(x)dx=\frac 19\)。
於是\(E[\max\{S_{\Delta PAB}, S_{\Delta PBC}, S_{\Delta PCA}\}] = 3E[S_{\Delta}] -3E[\min\{S_{\Delta_1},S_{\Delta_2}\}]+E[\min\{S_{\Delta_1},S_{\Delta_2}, S_{\Delta_3}\}] = \frac{11}{18}\)
非常有趣的結果(?)
10.27
謝惠民例題
\(\{a_n\}\)是正數列,求證\(\overline\lim\limits_{n\to\infty}\sqrt[n]{a_n} \le 1\)的充要條件是\(\forall l > 1, \lim\limits_{n\to\infty}\frac{a_n}{l^n} = 0\)。
充分性:反證,假設\(\overline\lim\limits_{n\to\infty}\sqrt[n]{a_n} > 1\),記\(\overline\lim\limits_{n\to\infty}\sqrt[n]{a_n} = a\),故\(\exists \{n_k\}, s.t. \lim\limits_{n\to\infty}\sqrt[n_k]{a_{n_k}} = a\),即\(\forall \varepsilon > 0, \exists K, \forall k > K, |\sqrt[n_k]{a_{n_k}} - a| < \varepsilon, a_{n_k} > (a - \varepsilon)^{n_k}\)。
取\(\varepsilon < a - 1, 1 < l < a - \varepsilon\),故\(a_{n_k} > (a - \varepsilon)^{n_k} > l_{n_k}, \lim\limits_{k \to \infty}\frac{a_{n_k}}{l^{n_k}} > 1\),這與\(\lim\limits_{n\to\infty}\frac{a_n}{l^n} = 0\)矛盾。
必要性:\(\forall l > 1, \overline\lim\limits_{n\to\infty}\sqrt[n]{a_n} \le 1 < \frac{1+l}{2}, \exists N, s.t. \forall n > N, \sqrt[n]{a_n} < \frac{1+l}{2}, a_n < (\frac{1+l}{2})^n\),故\(0 < \frac{a_n}{l^n} < (\frac{l+1}{2l})^n\),由夾逼定理可知\(\lim\limits_{n\to\infty}\frac{a_n}{l^n}=0\)。
10.29
證明:\(\mathbb R^n\)不能表示為
(1)兩個真子空間的並
反證,假設\(\mathbb R^n = W_1 \cup W_2\),由\(W_1, W_2\)都是真子空間可知\(\exists \alpha_1 \in W_1\setminus W_2\)(否則\(W_1 \subseteq W_2, \mathbb R^n = W_1 \cup W_2 = W_2\)與假設不符),同理\(\exists \alpha_2 \in W_2 \setminus W_1.\)
於是\(\alpha_1 + \alpha_2 \notin W_1 \cup W_2\),這與\(R^n = W_1 \cup W_2\)矛盾。
(2)有限個真子空間的並
數學歸納,\(k=2\)時成立。假設\(\mathbb R^n\)不能寫成\(k-1\)個真子空間的並,接下來證明\(\mathbb R^n\)不能寫成\(k\)個真子空間的並。
仍考慮反證,假設\(\mathbb R^n = \cup_{i=1}^kW_i\),那么存在\(\alpha \in W_1\setminus(\cup_{j\neq 1}W_j), \beta \in W_k\setminus(\cup_{j\neq k}W_j)\)(否則\(W_i \subseteq \cup_{j\neq i}W_j\),\(\mathbb R^n\)寫成了\(k-1\)個真子空間的並,與歸納假設矛盾),考慮所有形如\(\alpha + \lambda\beta\)的向量,當\(\lambda \neq 0\)時\(\alpha + \lambda\beta \notin W_1 \cup W_k\),而對於\(\forall 2 \le i \le k-1\),至多存在一個\(\lambda_i\)滿足\(\alpha + \lambda_i\beta \in W_i\)(否則兩個向量相減會得到\(\beta \in W_i\))由此滿足\(\alpha + \lambda\beta \in \cup_{i=1}^kW_i = \mathbb R^n\)的\(\lambda\)僅有有限個,顯然矛盾。
(3)可列(countable)個真子空間的並
繼續反證,假設\(\mathbb R^n = \cup_{i=1}^{\infty}W_i\),考慮\(\varepsilon_1, \cdots, \varepsilon_n\)是\(\mathbb R^n\)的一組標准基,記\(S = \{\varepsilon_1 + a\varepsilon + \cdots + a^{n-1}\varepsilon_n|a\in\mathbb R\}\),則\(S \cap W_i\)至多含有\(n-1\)個元素。
(否則,令\(v(a_i) = \sum_{j=1}^na_i^{j-1}\varepsilon_j\)其中\(a_i\)互不相同,則它們都在\(W_i\)中,由Vandermonde行列式可知其系數行列式非零,故\(\varepsilon_1, \cdots, \varepsilon_n\)與\(v(a_1), \cdots, v(a_n)\)可以互相線性表出,這與\(\dim W_i < n\)矛盾。)
從而\(S = S \cap \mathbb R^n = \cup_{i=1}^{\infty}(S \cap W_i)\),推出\(S\)是可列的,這與\(S = \{\varepsilon_1 + a\varepsilon + \cdots + a^{n-1}\varepsilon_n|a\in\mathbb R\}\)矛盾(因為\(\mathbb R\)是不可列的)。
11.2
\(f:[0,1]\to[0,1]\)為一個單調遞增函數,且\(f(0)>0, f(1)<1\),證明\(\exists x_0\in(0,1), f(x_0)=x_0.\)
區間套,說明套出來的那個點就是\(x_0.\)
一個關於不可數集的簡單性質:設\(A\)為\(\mathbb R\)中一個不可數集,則存在\(\mathbb R\)中一個區間\(T\)滿足\(\#\{T\cap A\} = +\infty\)
取\(T_n = [-n, n]\),則\(A = \cup_{i=1}^{\infty}(T_n \cap A)\),因為\(A\)是不可數的,所以\(\exists n, T_n \cap A\)是不可數的。
\(f:\mathbb R \to \mathbb R\)單調,則\(\lim\limits_{x\to a-0}f(x) \neq \lim\limits_{x \to a+0}f(x)\)只對可數個點成立。
不妨假設\(f\)單增,則\(\lim\limits_{x\to a-0}f(x) \le \lim\limits_{x \to a+0}f(x)\)
記左邊集合為\(A\),右邊每項集合為\(A_n\)
若\(A\)不可數,則存在\(A_n\)不可數
\(\exists [-k,k], s.t.[-k,k]\cap A_n\)中有無窮多個點,經過每個點時函數值都要增加\(\frac 1n\)而\(f(k)-f(-k)\)是有限數,因而矛盾。故\(A\)可數。
\(f:\mathbb R \to \mathbb R\)滿足\(\forall a \in \mathbb R, \lim\limits_{x\to a-0}f(x)\)與\(\lim\limits_{x\to a+0}f(x)\)均存在,則\(\lim\limits_{x\to a-0}f(x) \neq \lim\limits_{x \to a+0}f(x)\)只對可數個點成立。
給上一題的定義里加個絕對值
記左邊集合為\(A\),右邊每項集合為\(A_n\)
若\(A\)不可數,則存在\(A_n\)不可數
\(\exists [-k,k], s.t.[-k,k]\cap A_n\)中有無窮多個點,由BW定理可知存在單調上升序列\(\{x_n\}, s.t.\lim\limits_{n\to\infty}x_n = x_0\),容易證明\(\forall \varepsilon > 0, (x_0-\varepsilon, x_0)\)內可以找到兩個取值差\(\ge \frac 1n\)的點,從而\(\lim\limits_{t\to x_0-0}f(t)\)不存在