視頻資料：https://www.bilibili.com/video/av6731067
一、向量是什么
- 物理專業：向量是空間中的箭頭，由長度和方向決定
- 計算機專業：向量是有序的數字列表
- 數學家：向量可以是任何東西，只要保證向量相加、數字與向量的相乘有意義即可
（1）當在坐標系下以有序多元數組的形式表示向量時，不同位置上的數字代表在相應坐標軸上的投影長度
（2）當把向量視作一種運動時，向量加法可以視為依次進行各個運動，即向量的首尾相連，反映到數值上，就是對應數值項的相加
（3）從幾何角度看，向量數乘就是向量的縮放，反映到數值上，就是各個數值項都乘以標量
（4）線性代數的兩種基本運算：向量加法和向量數乘
二、線性組合、張成的空間、基
（1）向量：基向量根據坐標值進行縮放並相加的結果 //用數字描述向量時，都依賴於當前采用的基
（2）線性組合（數乘和加法）：兩個數乘向量的和（二維） $a\vec{v}+b\vec{w}$ //縮放再相加
注：線性的一種解釋——當固定其中一個標量$a$時，讓另一個標量$b$自由變化時，組合向量的終點會形成一條直線
（3）向量張成的空間：給定向量所有線性組合向量的集合
（4）線性相關：存在某向量可以表示為其他向量的線性組合 $\vec{u}=a\vec{v}+b\vec{w}$，即此向量落在其他向量張成的空間中，可以移除而不減小張成的空間
（5）線性無關：所有向量都給張成的空間添加新的維度
（6）基：向量空間的一組基是張成該空間的一個線性無關向量集
三、矩陣與線性變換
（1）變換與函數類似，接收輸入，生成輸出，變換隱含可以用運動的思想進行理解
注：此處變換接收一個向量，並輸出一個向量，可以視為將輸入向量移動到輸出向量
（2）線性變換的特殊之處：變換保持網格線平行且等距分布
- 所有直線在變換后仍然保持為直線，不能有所彎曲
- 原點位置必須保持固定
（3）線性變換只需要記錄基向量$\hat{i}=\begin{bmatrix}1 \\ 0\end{bmatrix}$ 和 $\hat{j}=\begin{bmatrix}0 \\ 1\end{bmatrix}$ 變換后的位置
注：線性變換由它對空間基向量的作用完全決定
（4）重要推論：因為線性變換網格線平行且等距分布，所以變換前后向量關於基向量的線性組合保持不變！
假設原始向量為$\begin{bmatrix}x \\ y\end{bmatrix}$,當基向量$\hat{i}=\begin{bmatrix}1 \\ 0\end{bmatrix}$和 $\hat{j}=\begin{bmatrix}0 \\ 1\end{bmatrix}$變為$\hat{i}=\begin{bmatrix}1 \\ -2\end{bmatrix}$和 $\hat{j}=\begin{bmatrix}3 \\ 0\end{bmatrix}$時，原始向量變為：
$$\begin{bmatrix}x \\ y\end{bmatrix} \rightarrow x\begin{bmatrix}1 \\ -2\end{bmatrix}+y\begin{bmatrix}3 \\ 0\end{bmatrix}=\begin{bmatrix}1x+3y \\ -2x+0y\end{bmatrix}=\begin{bmatrix}\color{red}1 & \color{red}3\\ \color{red}-\color{red}2 & \color{red}0\end{bmatrix}\begin{bmatrix}x \\ y\end{bmatrix}$$
可以看出，二維線性變換僅由四個數字完全確定，而這四個數字對應於基向量變換后的坐標
因此，可以看出矩陣就是對線性變換的一種描述，其中不同列表示不同基向量變換后的結果；矩陣的乘法視為變換后基向量的線性組合 //矩陣向量乘法用於計算線性變換作用於給定向量的結果
$$\begin{bmatrix}\color{red}a & \color{blue}b\\ \color{red}c & \color{blue}d\end{bmatrix}\begin{bmatrix}x \\ y\end{bmatrix}=x\begin{bmatrix}\color{red}a \\ \color{red}c \end{bmatrix}+y\begin{bmatrix} \color{blue}b\\ \color{blue}d\end{bmatrix}=\begin{bmatrix}{\color{red}ax }+\color{blue}by\\ {\color{red}cx}+\color{blue}dy\end{bmatrix}$$
注：矩陣代表對空間的一種特定線性變換
四、 矩陣乘法與線性變換復合
（1）矩陣乘法的幾何意義：兩個線性變換相繼作用的合成 //獨立變換的“復合變換”
（2）追蹤基向量的變化：
$$\begin{bmatrix}\color{red}a & \color{red}b\\ \color{red}c & \color{red}d\end{bmatrix}\begin{bmatrix}\color{blue}e & \color{blue}f\\ \color{blue}g & \color{blue}h\end{bmatrix}=\begin{bmatrix}ae+bg & af+bh\\ ce+dg& cf+dh\end{bmatrix}$$
基向量$\hat{i}=\begin{bmatrix}1 \\ 0\end{bmatrix} \rightarrow \begin{bmatrix}e \\ g\end{bmatrix} \rightarrow \begin{bmatrix}\color{red}a & \color{red}b\\ \color{red}c & \color{red}d\end{bmatrix}\begin{bmatrix}e \\ g\end{bmatrix}=\begin{bmatrix}ae+bg\\ ce+dg\end{bmatrix}$
基向量$\hat{j}=\begin{bmatrix}0 \\ 1\end{bmatrix} \rightarrow \begin{bmatrix}f \\ h\end{bmatrix} \rightarrow \begin{bmatrix}\color{red}a & \color{red}b\\ \color{red}c & \color{red}d\end{bmatrix}\begin{bmatrix}f\\ h\end{bmatrix}=\begin{bmatrix}af+bh\\ cf+dh\end{bmatrix}$
（3）矩陣乘法不符合交換律，但滿足結合律
附注1——三維空間中的線性變換：追蹤三維基向量的變化 //三維方陣
五、行列式：線性變換改變面積的比例 //三維為體積的縮放
（1）含義（絕對值）
- 給定區域面積增大或減小的比例
- 空間拉伸或擠壓的程度
- 單位正方形的面積變化比例
（2）矩陣行列式為0：對應變換將空間壓縮到更低的維度 //列線性相關
（3）行列式的正負號：對空間定向orientation的改變，定向發生改變則為負
注：
- 可根據基向量$\hat{i}$和$\hat{j}$進行考慮，$\hat{j}$位於$\hat{i}$左側為正，$\hat{j}$位於$\hat{i}$右側為負
- 三維空間的定向：右手法則；如果變換后不符合右手法則，符合左手法則，則行列式為負
（4）計算行列式：$$det\left(\begin{bmatrix}a & b\\c & d\end{bmatrix}\right)=ad-bc$$ //二維方陣
六、逆矩陣、列空間與零空間
（1）求解常系數線性方程組 $A\vec{x}=\vec{v}$
$$\begin{array}{c} 2x+5y+3z=-3\\4x+0y+8z=0\\1x+3y+0z=2\\\end{array} \rightarrow \begin{bmatrix}2 & 5 & 3\\4 & 0 & 8\\ 1 & 3 & 0\end{bmatrix} \begin{bmatrix}x\\y\\z\end{bmatrix} = \begin{bmatrix}-3\\0\\2\end{bmatrix}$$
方程$A\vec{x}=\vec{v}$的幾何含義：尋找向量$\vec{x}$，使得其經過變換$A$后得到向量$\vec{v}$
（2）行列式$det(A)\neq 0$時 //唯一解
有且僅有一個向量滿足該變換$\vec{x}=A^{-1}\vec{v}$
此時存在逆變換$A^{-1}$，滿足$A^{-1}A=I$（恆等變換）
（3）行列式$det(A)=0$時
- 有解的條件：向量$\vec{v}$位於變換后的低維空間內 //列空間
（4）列空間：變換后的基向量（矩陣的列）所能張成的空間 $A\vec{x}$ //解決“何時存在解”
- 一定包含零向量
（5）秩rank：變換后的空間的維數 //列空間的維數
- 滿秩full rank：秩與列數相等；列空間的維數與輸入空間的維數相等
- 對於滿秩矩陣而言，只有零向量在變換后仍落在原點處
- 對於非滿秩矩陣，存在多個向量變換后落在原點
（6）矩陣的零空間（核kernel）：變換后落在原點的向量$\vec{x}$集合，即滿足$A\vec{x}=\vec{0}$ //解決“解是什么樣的”
附注2——非方陣
（1）$m\times n$矩陣：將$n$維向量變換為$m$維向量 //$m\neq n$時，基向量的維度發生變化
（2）矩陣的列數表明基向量的個數（輸入空間的維數），矩陣的行數表明變換后輸出空間的維數
七、點積與對偶性 //點積：高維輸入，一維輸出
（1）$\vec{v}\cdot\vec{w}$標准定義：同維向量對應坐標項相乘后，求和
（2）$\vec{v}\cdot\vec{w}$幾何解釋：$\vec{v}$在$\vec{w}$方向上的投影長度和$\vec{w}$長度的乘積 //同向為正，反向為負，垂直為0
注：投影的對稱性——點積的結果與順序無關 $\vec{v}\vec{w}=\vec{w}\vec{v}$
（3）實現“高維輸入，一維輸出”的線性變換需要滿足的直觀條件：一系列等距分布於一條直線上的點，應用線性變換后，會保持這些點的等距分布特性；若干輸出不是等距分布，則變換不是線性的
注：一維行向量可以視為高維空間向一維空間的變換矩陣，每個元素可以看作基向量的變換結果，如$\begin{bmatrix}2 & 1\end{bmatrix}$
- 點積與變換的關聯：
- 向量與變換之間的關系（直立和放倒）
- 投影矩陣projection matrix：二維向量到數的線性變換 //空間任意向量經過投影變換的結果為投影矩陣與向量相乘
如圖所示，$\hat{i}$和$\hat{j}$在單位向量$\hat{u}$上的投影值，分別為$u_x$和$u_y$（投影變換矩陣的值）；則投影變換與點積的關系如下：
注：任何時候看到一個輸出空間為一維數軸的線性變換，空間中會存在唯一的向量$v$與之相關，所以應用變換和與向量$v$做點積是一樣的（對偶性duality）
- 向量 $\Leftrightarrow$ 對應的線性變換 //向量是線性變換的物質載體
- 多維空間到一維空間的線性變換 $\Leftrightarrow$ 多維空間的某個特定向量 //應用線性變換和與這個向量點乘等價
總結：
- 點積是理解投影的有利幾何工具，並便於檢驗兩個向量的指向是否相同
- 兩個向量點乘：將其中一個向量轉換為線性變換
八、叉積
1. 標准介紹
（1）二維叉積（等價於行列式）：
$\overrightarrow{v}\times\overrightarrow{w}$ = 構成的平行四邊形的面積 * 方向（$\overrightarrow{v}$在$\overrightarrow{w}$右側為正，否則為負） //乘積順序有影響
注：
- 判斷方向的方法，記住橫軸單位向量$\hat{i}$與縱軸單位向量$\hat{j}$的叉積$\hat{i}\times\hat{j}$為正 //基向量的順序就是定向的基礎
- 面積的求法：將向量作為列構成矩陣（與將$\hat{i}$和$\hat{j}$分別移至$\overrightarrow{v}$和$\overrightarrow{w}$的線性變換相對應），矩陣行列式的絕對值即為面積 //作為行也可以，因為轉置不改變行列式的值
（2）三維叉積：通過兩個三維向量生成一個新的三維向量 $\overrightarrow{v}\times\overrightarrow{w}=\overrightarrow{p}$
- 生成的三維向量：長度為平行四邊形的面積，方向垂直於平行四邊形，且符合右手法則
2. 以線性變換的眼光看叉積
（1）線性變換和對偶向量
（2）理解叉積的計算公式和幾何含義之間的關系
- 定義三維空間到數軸的函數：輸入任意向量$(x, y, z)$計算與$\overrightarrow{v}$和$\overrightarrow{w}$確定的平行六面體的體積（考慮方向）
注：根據行列式的性質可以證明該函數是線性的
- 尋找對偶向量$\overrightarrow{p}$：線性變換$\Rightarrow$矩陣乘法$\Rightarrow$向量點積
注：尋找向量$\overrightarrow{p}$，滿足與向量$(x,y,z)$點乘時，所得結果為右側$3\times 3$矩陣的行列式
$$\Downarrow$$
注：計算公式角度
- 向量$\overrightarrow{p}$點積的幾何意義：
- 六邊體體積計算兩種思考方式：
- 線性函數對於給定向量的作用為：將向量投影到垂直於$\overrightarrow{v}$和$\overrightarrow{w}$的直線上，然后將投影長度與$\overrightarrow{v}$和$\overrightarrow{w}$張成的平行四邊形的面積相乘 //對行列式的解釋
- 等價於：垂直於$\overrightarrow{v}$和$\overrightarrow{w}$且長度為平行四邊形面積的向量與向量$(x,y,z)$進行點乘 //對對偶向量點乘的解釋
注：幾何意義角度
九、基變換
（1）不同基向量（坐標系）下的坐標表示
注：當坐標均為$\begin{bmatrix}-1 \\ 2\end{bmatrix}$時，基向量的不同會引起在同一坐標系進行表示時的坐標變化
（2）基變換：矩陣代表基向量的變換
（3）基變換圖示
- 基變換矩陣（描述基變量的變化）
- 正變換
- 逆變換
（4）如何利用標准坐標系描述新基下的線性變換
注：先將新基下的向量轉化為標准坐標系表示——>在標准坐標系下進行變換——>將坐標重新變換回新基下的坐標
注：表達式$\color{red}{A^{-1}MA}$暗示了一種數學上的轉移作用，中間的矩陣$M$代表了一種標准坐標系下的常見變換，外側的兩個矩陣則代表着不同坐標系的視角轉化（轉移作用），相應的矩陣乘積結果仍然代表着同一個變換，但是從其他人（新坐標系）的角度來看的
十、特征向量與特征值
（1）特征向量：矩陣變換對它的作用僅僅是拉伸或者壓縮，如同一個標量 //特征向量留在自身張成的空間里（留在直線上，不發生旋轉）
（2）特征值：衡量特征向量在變換中拉伸或者壓縮比例的因子
（3）對於三維旋轉而言，旋轉矩陣的特征向量代表了該旋轉的旋轉軸（不發生變化） //旋轉矩陣的特征值為1（保持向量長度不變）
（4）理解線性變換作用的兩種方式
- 將矩陣列視為變換后的基向量 //依賴於所選特定坐標系
- 利用特征向量和特征值 //不依賴於坐標系
（5）求解特征向量、特征值
注：當且僅當矩陣$A-\lambda I$代表的變換將空間壓縮到更低的維度時，才會存在非零向量$\vec{v}$，使得和矩陣的乘積為零，也就是矩陣的行列式需要為零
（6）二維線性變換不一定有特征向量：如逆時針旋轉90度$\begin{bmatrix}0 & -1 \\ 1 & 0\end{bmatrix}$使得每個向量都發生旋轉（離開其張成的空間），此時求解行列式為零得不到實數解，表明沒有特征向量
注：與虛數$i$相乘在復平面中表現為90度旋轉（與$i$是上述旋轉變換的特征值有關聯）；特征值出現復數的情況一般對應於變換中的某種旋轉
（7）剪切變換矩陣$\begin{bmatrix}1 & 0 \\ 1 & 1\end{bmatrix}$的所有特征向量都位於$x$軸上，特征值為1
注：可能出現只有一個特征值，但是特征向量不止在一條直線上，如$\begin{bmatrix}2 & 0 \\ 0 & 2\end{bmatrix}$的唯一特征值為2，但是平面內每個向量都是特征向量
（8）特征基eigenbasis：一組特征向量作為基向量構成的集合
- 對角矩陣的所有基向量都是特征向量，矩陣的對角元為相應的特征值 //對角矩陣僅僅讓基向量與某個特征值相乘
- 當基向量不是特征向量時，可以通過基變換，將坐標系轉換為由特征向量作為基向量（特征向量足夠多，能夠張成全空間）
注：同一個變換在新基（特征向量）$\begin{bmatrix}1 & 0 \\ -1 & 1\end{bmatrix}$下表示為對角矩陣，且對角線元素為特征值
十一、抽象向量空間 //類似向量的事物合集，如箭頭、一組數、函數等
（1）向量——>函數
- 可加性
- 成比例性
注：可加性和成比例性的直觀解釋——網格線保持平行且等距分布
- 線性變換（矩陣）和線性算子（求導）之間的對應關系
- 向量空間必須滿足的八條公理：
（2）全體多項式空間的基函數basis functions為：$b_0(x)=1, b_1(x)=x, b_2(x)=x^2, b_3(x)=x^3, \cdots$；
對每個基函數求導，並將結果作為矩陣列，可得函數的求導變換矩陣$\frac{d}{dx}$
（3）普適的代價
