在本系列中，我的個人見解將使用斜體標注。每篇文章的最后，我將選擇摘錄一些例題。由於文章是我獨自整理的，缺乏審閱，難免出現錯誤，如有發現歡迎在評論區中指正。
Part 1：矩陣
本節終於進入到熟悉的矩陣，矩陣是線性映射的一種特殊表示，上一章的例題1已經說明了任何\(\mathbb{F}^n\to \mathbb{F}^m\)的線性映射都能夠被\(m\times n\)個實數所確定。但事實上，用矩陣表示線性映射的方式並不是這么狹隘的。
矩陣(matrix) 設\(m\)和\(n\)都是正整數，\(m\times n\)的矩陣\(A\)是由\(\mathbb{F}\)的元素構成的\(m\)行\(n\)列數表。
記號\(A_{j,k}\)表示位於\(A\)的第\(j\)行第\(k\)列的元素，第一個下標代表行，第二個下標代表列。
線性映射的矩陣(matrix of a linear map) 設\(T\in\mathcal L(V,W)\)，並設\(v_1,\cdots,v_n\)是\(V\)的基，\(w_1,\cdots,w_m\)是\(W\)的基。規定\(T\)關於這些基的矩陣為\(m\times n\)矩陣\(\mathcal M(T)\)，其中\(A_{j,k}\)滿足
如果這些基不是上下文自明的，則記作\(\mathcal M(T,(v_1,\cdots,v_n),(w_1,\cdots,w_m))\)。
矩陣只是一個數表，如果不與線性映射關聯則矩陣沒有任何意義。線性映射的矩陣是依賴於基的，而\(V,W\)中有無限組基，理論上任何一組基都能定義一個線性映射的矩陣，它們是互不相同的。因此，線性映射的矩陣必須要包含關於基的描述，否則將默認為自然基。
為了方便記憶，最好將矩陣視為一堆列向量構成的表：
其中每個\(Tv_k\)是\(Tv_k\)在\((w_1,\cdots,w_m)\)下的坐標，當然，這樣的表述是不太嚴謹的。
\(\mathcal M(T)\)既可以看成是一個矩陣的代號，也可以把\(\mathcal M\)拆分出來，這時候\(\mathcal M\)應當被視為一個將線性映射映射到矩陣空間上的線性映射，即把線性映射\(T\)和矩陣\(\mathcal M(T)\)都視為各自線性空間的向量。
矩陣加法(matrix addition)與矩陣標量乘法(scalar multiplication of a matrix) 兩個矩陣相加只適用於同型矩陣，將其對應元素相加；矩陣的標量乘法將其每個元素都乘以這個標量倍。
矩陣的線性運算是為了線性映射服務的，這樣在同樣的基表示下，線性映射的運算就有很簡單的可視化表達。
- 在相同的基下，\(\mathcal M(S+T)=\mathcal M(S)+\mathcal M(T)\)。
- 在相同的基下，\(\mathcal M(\lambda T)=\lambda \mathcal M(T)\)。
假設\(S,T\in\mathcal L(V,W)\)。如果取\((v_1,\cdots,v_n)\)和\((w_1,\cdots,w_m)\)分別作為\(V,W\)的基，則
\[(S+T)v_k=Sv_k+Tv_k, \]相當於\(\mathcal M(S+T)\)的第\(k\)列是\(Sv_k+Tv_k\)，由線性映射的加性，結論容易證明。數乘由齊性同理。
\(\mathbb{F}^{m,n}\) \(\mathbb{F}^{m,n}\)代表所有\(m\times n\)矩陣構成的集合，結合矩陣加法和矩陣標量乘法的定義，它是一個線性空間，且\(\dim \mathbb{F}^{m,n}=mn\)。
\(\mathbb{F}^{m,n}\)是線性空間的證明，只需定義加法單位元\(0\)，它指的是所有元素都為\(0\)的\(m\times n\)矩陣，然后加法和數乘在這個空間上的封閉性，是由數域\(\mathbb{F}\)的封閉性保證的。
為證\(\dim \mathbb{F}^{m,n}=mn\)，只需找出其一組基，如果令\(e_{i,j}\)為第\(i\)行第\(j\)列為\(1\)，其他元素為\(0\)的矩陣，則\(mn\)個這樣的矩陣共同構成了\(\dim\mathbb{F}^{m,n}\)的基，它的張成性和線性無關性都很容易證明。
矩陣運算的本質全是線性映射的運算，所以矩陣乘法也應當如此定義。與映射的乘法一樣，它依賴於三個空間，故依賴於三組基，接下來的定義使得在同樣的基下，線性映射的矩陣乘法等價於映射的乘法。
矩陣乘法(matrix multiplication) 設\(A\)是\(m\times n\)矩陣，\(C\)是\(n\times p\)矩陣，則\(AC\)定義為\(m\times p\)矩陣，其第\(j\)行第\(k\)列元素是
在這樣的定義下，對於相同的基，\(\mathcal M(S)\mathcal M(T)=\mathcal M(ST)\)。
設\(\mathcal M(S)=A,\mathcal M(T)=C\)，且\(T\in\mathcal L(U,V),S\in\mathcal L(V,W)\)，其基分別是\(u_1,\cdots,u_p\)，\(v_1,\cdots,v_n\)和\(w_1,\cdots,w_m\)，則
\[\begin{aligned} (ST)u_k&=S(Tu_k)\\ &=S\left(\sum_{r=1}^{n}C_{r,k}v_r \right)\\ &=\sum_{r=1}^n C_{r,k}Sv_r\\ &=\sum_{r=1}^n C_{r,k}\sum_{j=1}^m A_{j,r}w_j\\ &=\sum_{j=1}^m\left(\sum_{r=1}^n A_{j,r}C_{r,k} \right)w_j. \end{aligned} \]結論得證。
由於\(ST\ne TS\)，所以\(\mathcal M(ST)\ne \mathcal M(TS)\)，也就是\(\mathcal M(S)\mathcal M(T)\ne \mathcal M(T)\mathcal M(S)\)。
行矩陣和列矩陣 若\(A\)是\(m\times n\)矩陣，對於\(1\le j\le m\)，\(A_{j,\cdot}\)表示\(A\)的第\(j\)行組成的\(1\times n\)矩陣；\(A_{\cdot ,k}\)表示\(A\)的第\(k\)列組成的\(m\times 1\)矩陣。
行矩陣和列矩陣是矩陣分塊的基礎，它們能為矩陣的乘法運算提供很大的便利。為了應用行矩陣和列矩陣提供的便利，至少要知道行矩陣乘列矩陣等於一個數。
-
矩陣乘積的元素等於行乘以列，即
\[(AC)_{j,k}=A_{j,\cdot}C_{\cdot,k}. \] -
矩陣乘積的列等於矩陣乘以列，即
\[(AC)_{\cdot ,k}=AC_{\cdot ,k}. \] -
設\(A\)是\(m\times n\)矩陣，\(C\)是\(n\times 1\)矩陣，則\(Ac\)可以看成\(A\)每一列的線性組合，系數是\(c\)的系數，即
\[Ac=c_1A_{\cdot,1}+\cdots+c_nA_{\cdot ,n}. \]
這種表達方式將矩陣看成一堆列矩陣按行排列形成的矩陣，有時我們也稱之為列向量。這樣考慮的好處是，我們在線性映射的矩陣定義中，將每一列定義為\(Tv_k\)在\(W\)的基下的系數，因此當\(W\)取自然基時，矩陣自然就是一堆列向量構成的列向量組。
Part 2：可逆
可逆(invertible)與逆(inverse) 線性映射\(T\in\mathcal L(V,W)\)稱為可逆的，如果存在\(S\in\mathcal L(W,V)\)使得\(ST=I_V\)且\(TS=I_W\)，此時\(S\)稱為\(T\)的逆。
注意\(S\)的原像空間和像空間和\(T\)是正好相反的。
逆是唯一的 可逆的線性映射\(T\)必有唯一的逆，記作\(T^{-1}\)。
設\(T\in\mathcal L(V,W)\)，\(S_1,S_2\)是它的逆，則
\[S_1=S_1(TS_2)=(S_1T)S_2=S_2. \]
可逆的等價條件 \(T\in\mathcal L(V,W)\)是可逆的等價於\(T\)既是單射又是滿射。
這是一個非常重要的定理，給出了一種\(T\)不可逆的情形。同時，基於線性映射基本定理，對於可逆的\(T\in\mathcal L(V,W)\)，必有
所以如果一個線性映射的原像空間和像空間維數都不同，則必不可逆。
證明必要性。若\(T\)可逆，則
\[Tu=Tv\Rightarrow T^{-1}Tu=T^{-1}Tv\Rightarrow u=v, \]這里證明\(T\)是單射。另外，\(\forall w\in W\)，有
\[w=TT^{-1}w=T(T^{-1}w),\quad T^{-1}w\in V. \]所以\(w\in\mathrm{range}T\)，這里證明\(T\)是滿射。
證明充分性。\(\forall w\in W\)，存在\(v\in V\)使得\(Tv=w\)。定義一個映射\(S\)，滿足\(\forall w\in W\)，如果\(Tv=w\)，就有
\[Sw=v. \]由於\(T\)是單射，所以每個\(w\)在\(T\)下只有一個原像，因此這樣的\(S\)是合理的。
下證明\(S\)是線性的（這一點很容易被遺忘），設\(w_1,w_2\in W\)，則由\(S\)的定義方式，有
\[w_1+w_2=Tv_1+Tv_2=T(v_1+v_2),\\ S(w_1+w_2)=v_1+v_2=Sw_1+Sw_2; \]這就驗證了\(S\)的加性，齊性可以類似驗證。
由\(S\)的定義方式，顯然有\(ST=I_V\)。而\(TSw=Tv=w\)，說明\(TS=I_W\)。所以\(S=T^{-1}\)。
以上證明的關鍵就在於構造出\(S\)，但是這里寫的比較簡略，請讀者自行擴充。同時，以上的二級補充說明對非線性的情況比較不友好，因此是一個比較粗糙的說明。
以下是書上給出的兩個研究無限維線性映射可逆性的例子，由此可以知道
- 不是滿的：\(\mathcal L(\mathcal P(\mathbb{R}),\mathcal P(\mathbb{R}))\)中的乘以\(x^2\)算子不滿，所以不可逆。
- 不是單的：\(\mathcal L(\mathbb{F}^{\infty},\mathbb{F}^\infty)\)中的向后移位算子不單，所以不可逆。
Part 3：同構的向量空間
同構(isomorphism) 同構指的是可逆的線性映射。
同構的(isomorphic)向量空間 若兩個向量空間之間存在一個同構，則稱這兩個向量空間是同構的。
上一章中，揭示了對於有限維向量空間，可逆線性映射必定作用在維數相同的向量空間上。下面的定理加強一步，指出了同構存在與維數直接建立關系。
同構向量空間與維數 \(\mathbb{F}\)上兩個有限維向量空間同構，當且僅當其維數相同。
必要性已經證明了。
證明充分性只需要構造出這樣的同構。設\(v_1,\cdots,v_n\)是\(V\)的基，\(w_1,\cdots,w_n\)是\(W\)的基，定義一個這樣的映射：
\[T(c_1v_1+\cdots+v_nv_n)=c_1w_1+\cdots+c_nw_n. \]容易證明\(T\in\mathcal L(V,W)\)。另外構造一個
\[S(c_1w_1+\cdots+c_nw_n)=c_1v_1+\cdots+c_nv_n, \]則也容易證明\(S\in\mathcal L(W,V)\)，並且\(ST=I_V\)，\(TS=I_W\)，這就構造了一個同構。
可以看到，這個證明與可逆的等價條件證明主要差距就在於是否是有限維的。當維數被限定，證明會變得簡單。
\(\mathcal L(V,W)\)與\(\mathbb{F}^{m,n}\)同構 若\(\dim V=n,\dim W=m\)，則\(\mathcal L(V,W)\)與\(\mathbb{F}^{m,n}\)同構。
這個定理表明，如果給定了矩陣的基，則線性映射與其矩陣之間的關系是可逆的，給定一個矩陣也可以唯一地決定一個線性映射，也就是說：\(\mathcal M\in\mathcal L(\mathcal L(V,W),\mathbb{F}^{m,n})\)作為一個線性映射可逆。（這符號感覺套娃起來了）。
即證明\(\mathcal M\)可逆，也就是既單又滿。
證明\(\mathcal M\)是單射，等價於證明\(\mathrm{null}\mathcal M=\{0\}\)，這里\(\{0\}\)是零映射。設\(T\in\mathcal L(V,W)\)，則\(\mathcal M(T)=0\)指\(T\)在給定基下對應的是\(0\)矩陣，即所有\(V\)的基向量都被\(T\)映射到\(W\)中的\(0\)向量，自然\(T\)是一個零映射。（請讀者自己理清上面這段話）
證明\(\mathcal M\)是滿射，\(\forall A\in \mathbb{F}^{m,n}\)，定義這樣的一個\(T\in\mathcal L(V,W)\)，其中
\[Tv_k=\sum_{j=1}^m A_{j,k}w_j, \]則\(\mathcal M(T)=A\)，所以\(\mathcal M\)是滿射。
由此結論直接可以得到：
向量的矩陣(matrix of a vector) 設\(v\in V\)，並設\(v_1,\cdots,v_n\)是\(V\)的基，則規定\(v\)關於這個基的矩陣是
現在我們終於把向量與矩陣統一到了一起，注意我們都把向量視為列矩陣。實際上，\(\mathcal M(v)\)的各個元素就是\(v\)在基\((v_1,\cdots,v_n)\)下的坐標。以下結論都是成立的，如果從我們以前學過的角度來看，這些結論都很顯然。
- \(\mathcal M(T)_{\cdot ,k}=\mathcal M(Tv_k)\)，即\(\mathcal M(T)\)的第\(k\)列就是\(Tv_k\)在基下的坐標，這一點就是我們的記憶方式。
- \(\mathcal M(Tv)=\mathcal M(T)\mathcal M(v)\)，即可以用矩陣乘法來表示線性映射，事實上我們在線性代數中一直是這樣做的。
算子(operator) 向量空間到期自身的映射\(T\in\mathcal L(V,V)\)稱為算子，將\(\mathcal L(V,V)\)記作\(\mathcal L(V)\)。
對於算子，我們一般研究有限維向量空間。在有限維的情形，算子的單射與滿射是等價的：設\(V\)是有限維的，\(T\in\mathcal L(V)\)，則以下陳述等價：
- \(T\)可逆。
- \(T\)是單射。
- \(T\)是滿射。
只需由線性映射基本定理：
\[\dim V=\dim \mathrm{null}T+\dim\mathrm{range}T, \]注意到\(\mathrm{null}T\)和\(\mathrm{range}T\)都是\(V\)的子空間即可。
例題
矩陣部分的例題，全都是老掉牙的構造線性映射，只要知道矩陣和線性映射之間的相互轉換關系就沒什么難的，這里全都不提了。關於3.D的習題，也大多是思維存在障礙，難度上可能不是很大，因為基本用書上的結論可以直接解決。
第一題（3.D 2） 設\(V\)是有限維的且\(\dim V>1\)。證明\(V\)上不可逆的算子構成的集合不是\(\mathcal L(V)\)的子空間。
證明某個集合不是向量空間，如果\(0\)元素在子空間內，則一般考慮構造一個不滿足加法封閉性的案例。最簡單的可逆算子顯然是恆等算子。
構造如下的\(T_1\)和\(T_2\)：
\[T_1v_1=v_2,\quad T_1v_2=v_2,\\ T_2v_1=v_1-v_2,\quad T_2v_2=0. \]如果\(\dim V>2\)，則在其他維度上是恆等的。此時\(T_1\)和\(T_2\)都不是滿射（可自行驗證），但是
\[T_1+T_2=I_V. \]
第二題（3.D 9） 設\(V\)是有限維的，\(S,T\in\mathcal L(V)\)。證明\(ST\)可逆當且僅當\(S,T\)都可逆。
假設\(T\)不可逆，則\(T\)不是單射，存在\(v_1\)使得\(Tv_1=0\)。則\(STv_1=0\)，故\(\mathrm{null}(ST)\ne \{0\}\)。
假設\(S\)不可逆，則\(S\)不是滿射，\(\exists w\in V\)使得不存在\(v\)，\(Sv=w\)，那么\(\forall D\in\mathcal L(V)\)必有\(STDw\ne w\)，即任何\(D\)都不是\(ST\)的逆。
第三題（3.D 16） 設\(V\)是有限維的，\(T\in\mathcal L(V)\)。證明：\(T=\lambda I_V\)當且僅當對每個\(S\in\mathcal L(V)\)都有\(ST=TS\)。
這題比看上去要難，原本我認為應當使用反證法，但是答案卻給出了正向證明的方式。其思路就在於，如果\(T=\lambda I_V\)，則對任何\(v\)，\(v\)與\(Tv\)線性相關。
必要性是顯然的。
下證充分性。已知\(ST=TS,\forall S\in\mathcal L(V)\)，先證明\(v\)和\(Tv\)必是線性相關的，如果不然，則\(v,Tv\)可以被擴充成一組基：\(v,Tv,u_1,\cdots,u_n\)，定義這樣的\(S\in\mathcal L(V)\)，使得
\[S(av+bTv+c_1u_1+\cdots+c_nu_n)=bv, \]有\(STv=v\)且\(Sv=0\)，由\(ST=TS\)得到
\[STv=v=TSv=0, \]這與\(v,Tv\)線性無關矛盾，所以\(v,Tv\)必然是線性相關的，這樣就存在一個與\(v\)相關的\(a_v\)，使得
\[Tv=a_vv, \]下證\(a_v\)與\(v\)無關，找到另外一個\(w\in V\setminus\{0\}\)，有\(Tw=a_ww\)，下證\(a_v=a_w\)。
當\(v,w\)線性相關時，有\(v=bw\)，則
\[a_vv=Tv=bTw=ba_ww=a_wv, \]所以\(a_v=a_w\)。
當\(v,w\)線性無關時，有
\[a_{v+w}(v+w)=T(v+w)=Tv+Tw=a_vv+a_ww, \]移項就得到
\[a_v=a_{v+w}=a_w. \]這說明\(a_v\)與\(v\)無關，故必有\(Tv=av\)，即\(T=aI_V\)。
第四題（3.D 17） 設\(V\)是有限維的，且\(\mathcal E\)是\(\mathcal L(V)\)的子空間使得\(\forall S\in \mathcal L(V)\)和\(T\in\mathcal E\)，都有\(ST\in\mathcal E\)和\(TS\in\mathcal E\)。證明\(\mathcal E=\{0\}\)或\(\mathcal E=\mathcal L(V)\)。
這題要從\(\mathcal L(V)\)的結構入手，注意到\(\mathcal L(V)\)是一個\(n^2\)維的線性空間。我想，從矩陣角度來做會不會更清晰一些。
必要性是顯然的，下證充分性。
設\(e_1,\cdots,e_n\)是\(V\)的一個基，每一個線性映射\(T\)對應的矩陣為\(\mathcal M(T)\)，\(\mathcal E\)中線性映射對應的矩陣構成的集合是\(\mathcal M(\mathcal E)\)。
取\(T\in\mathcal E,T\ne 0\)，則\(T\)對應的矩陣至少含有一個\(0\)元素，不妨設\(\mathcal M(T)_{j,k}\ne 0\)。
記\(\Delta _{a,b}\)指的是第\(a\)行第\(b\)列為\(1\)，其它元素為\(0\)的矩陣，則由於\(\Delta_{a,j}\in\mathbb{F}^{n,n}\)，
\[\Delta_{a,j}\mathcal M(T)=\Delta_{a,k}, \]所以\(\Delta_{1,k},\cdots,\Delta_{n,k}\in\mathcal M(\mathcal E)\)。對每一個\(a\)，由於\(\Delta_{k,b}\in\mathbb{F}^{n,n}\)，
\[\Delta_{a,k}\Delta_{k,b}=\Delta_{a,b}, \]所以\(\Delta_{a,b}\in\mathbb{F}^{n,n}\)。在證明過程中，\(a=1,\cdots,n\)，\(b=1,\cdots,n\)，這就證明了\(\mathcal M(\mathcal E)=\mathbb{F}^{n,n}\)。
由於\(\mathcal L(V)\)與\(\mathbb{F}^{n,n}\)同構，所以將每一個矩陣看成線性映射，就能有相同的結論，即\(\mathcal E=\mathcal L(V)\)。