數學中空間是一個非空的集合，用符號 $V$ 表示，它的組成包括兩個部分：元素 + 規則，任何操作以及推導都只能在規則的基礎上進行。
1. 線性空間
是一種定義了加法和數乘這兩種規則的空間，其中的元素是向量，故也稱為向量空間。符號 $P$ 表示一個數域。
1）加法運算：即當向量 $a,b\in V$，有唯一的和 $a+b\in V$ (封閉性)，且加法運算滿足以下性質：
a. $a + b = b + a$
b. $a + (b + c) = (a + b) + c$
c. 存在零元素 $0$，使得 $a + 0 = a$
d. 存在負元素 $-a$，使 $a + (-a) = 0$
以上的性質都是針對空間內的元素，即定義了向量的加法操作。
2）數乘運算(數量乘積)：當 $a \in V,k,l \in P$ 時，有唯一的積 $ka \in V$ (封閉性)，且乘法運算滿足以下性質：
a. $k(a + b) = ka + kb$
b. $(k + l)a = ka + la$
c. $k(la) = (kl)a$
d. 數域中存在元素 1，$1 \cdot a = a$
空間是定義在數域上的，以上性質定義了數域 $P$ 內的元素(數)和向量相乘所允許的操作。
滿足了以上幾條性質，則稱 $V$ 是定義在數域 $P$ 上的線性空間或向量空間。對於不同的數域，可能構成不同的線性空間。
之所以稱為線性空間是由於所定義的加法和數乘運算都是線性運算。
向量的維度：向量坐標分量的個數。同一個線性空間中的向量必然都具有相同的維度，不然元素之間就無法進行加減。
線性空間的維度：空間的所有元素中，構成線性無關的向量的最大個數，即極大線性無關組的向量個數。
線性空間的維度不一定等於它里面所含向量的維度。關鍵在於空間里面的元素是哪些，比如：
1）所有三維向量可以構成一個線性空間，很明顯這個線性空間的維度也是 $3$。
2）如圖，位於下圖斜面上的向量，用三個坐標來描述，即向量是三維的，斜面上的向量全體也可以構成一個線性空間，但此時向量
空間的維度是 $2$，即只需要兩個線性無關的向量 $v_{1},v_{2}$ 就可以表示該空間中的所有元素。
總結：向量空間的維度，取決於里面包含了哪些向量，里面的向量必定都有相同的分量個數。
2. 內積空間
向量空間中增加了一個額外的結構，這個額外的結構叫做內積(點積)，這時的空間稱為內積空間。
這個增添的結構將一對矢量與一個純量連接起來，允許我們嚴格地談論矢量的夾角和長度，並進一步談論矢量的正交性。
兩個向量 $a = (x_{1},x_{2},...,x_{n})$ 和 $b = (y_{1},y_{2},...,y_{n})$ 的內積定義為
$$a \cdot b = (a,b) = a \cdot b = x_{1}y_{1} + x_{2}y_{2} +...+ x_{n}y_{n} = \sum_{i=1}^{n}x_{i}y_{i}$$
$\bullet$ 兩個向量的內積具有如下性質：
1）$(a,b) = (b,a)$
2）$(ka,b) = k(a,b)$
3）$(a+b,c) = (a,c) + (b,c)$
$\bullet$ 根據內積可以引出向量長度的定義：$|a| = \sqrt{(x,x)}$。關於向量長度的基本性質：
1）非負性：對內積空間中的任一個向量 $a$，有 $|a| \geq 0$。當向量 $a = 0$時，$|a|=0$。
2）齊次性：對任意的 $k \in P$，有 $|ka| = |k||a|$。
3）三角不等式：$|a+b| \leq |a| + |b|$。
$\bullet$ 上面是點積的坐標定義，它也有個幾何定義：
$$a \cdot b = |a||b|\cos \theta$$
其中 $|b|\cos \theta$ 為向量 $b$ 在向量 $a$ 上的投影。
更通俗來講：向量內積計算的是一個向量乘以另一個向量在該向量上的正交投影。因此也就是把另一個向量作分解，只有平行部分才有作用。
向量內積的坐標定義和幾何定義兩者有什么聯系呢？為什么它們的值是一樣的？
向量的幾何定義可以從坐標定義推導出來，如上右圖，可知
$$a \cdot b = a_{x}b_{x} + a_{y}b_{y} = |a|\cos \theta_{1} \cdot |b|\cos \theta_{2} + |a|\sin \theta_{1} \cdot |b|\sin \theta_{2} \\
= |a||b|(\cos \theta_{1}\cos \theta_{2} + \sin \theta_{1}\sin \theta_{2}) \\
= |a||b|\cos (\theta_{1} - \theta_{2})$$
是不是很神奇，向量內積的幾何定義告訴我們，不管兩個相同向量在哪一個參考系中，它們的內積都是一樣的，只和它們的模和角度有關。
最簡單的建立坐標系的方法就是以其中某一個向量作為坐標軸。
內積數值上我們可以看出兩個向量的在方向上的接近程度。當內積值為正值時，兩個向量大致指向相同的方向（方向夾角小於90度）；
當內積值為負值時，兩個向量大致指向相反的方向（方向角大於90度）；當內積值為0時，兩個向量互相垂直。
3. 賦范線性空間
一般的線性空間是沒有定義內積的，也就沒有向量長度的概念，引入向量范數就是為了在一般的線性空間中建立類似向量長度的這種度量。
設 $V$ 是實數域 $R$ 上的 $n$ 維線性空間，對於 $V$ 中的任意一個向量 $a$，按照某一個確定的法則 $f(a)$ 對應一個實數，這個實數稱為 $a$ 的
范數，記為 $||a||$，並且要求滿足以下 3 個條件：
1）非負性：對內積空間中的任一個向量 $a$，當 $a \neq 0$ 時，有 $||a|| \geq 0$。當向量 $a = 0$ 時，$||a||=0$。
2）齊次性：對任意的 $k \in P$，有 $||ka|| = |k| \cdot ||a||$。
3）三角不等式：$||a+b|| \leq ||a|| + ||b||$。
定義了范數的空間稱為賦范線性空間。
對同一個向量 $a$，不同的法則 $f(a)$ 會計算出不同的范數，向量的長度就是一種范數。
- 關於向量范數，具有以下基本性質：
1）$||0|| = 0,||-a|| = ||a||$
2）當 $a \neq 0$，有 $||\frac{a}{||a||}|| = 1$
3）$| ||a|| - ||b|| | \leq || a - b ||$
- 下面介紹幾種常用的向量范數：
設向量 $a = \left \{ x_{1},x_{2},...,x_{n} \right \}$，$b = \left \{ y_{1},y_{2},...,y_{n} \right \}$。
1）$L1$ 范數：向量 $a$ 的各個元素絕對值之和，即
$$||a||_{1} = \sum_{i=1}^{n}|x_{i}|$$
證明：驗證它滿足向量范數的 3 個條件即可。
i：非負性。$a \neq 0$ 時，至少有一個分量不為 $0$，所以向量各個分量的絕對值求和必大於 $0$。當 $a = 0$ 時，明顯各個分量的絕對值和為 $0$。
ii：齊次性。
$$||ka||_{1} = \sum_{i=1}^{n}|kx_{i}| = \sum_{i=1}^{n}|k|\cdot |x_{i}| = |k| \sum_{i=1}^{n} |x_{i}| = |k|\cdot ||a||_{1}$$
iii：三角不等式。
$$||a+b||_{1} = \sum_{i=1}^{n}|x_{i} + y_{i}| \leq \sum_{i=1}^{n}(|x_{i}| + |y_{i}|) = \sum_{i=1}^{n}|x_{i}| + \sum_{i=1}^{n}y_{i}| = ||a||_{1} + ||b||_{1}$$
2）$Lp$ 范數：當 $1\leq p < +\infty$，向量 $a$ 的各個元素 $p$ 方和的 $1/p$ 次方，即
$$||a||_{p} = \left ( \sum_{i=1}^{n}|x_{i}|^{p} \right )^{\frac{1}{p}}$$
證明：驗證它滿足向量范數的 3 個條件即可。
i：非負性。可類比 $L1$ 范數，這里不再贅述。
ii：齊次性。
$$||ka||_{p} =\left ( \sum_{i=1}^{n}|kx_{i}|^{p} \right )^{\frac{1}{p}} = |k|\cdot \left ( \sum_{i=1}^{n} |x_{i}|^{p} \right )^{\frac{1}{p}} = |k|\cdot ||a||_{p}$$
iii：三角不等式。由閔可夫斯基不等式直接得
$$||a+b||_{p} = \left \{ \sum_{i=1}^{n}(x_{i} + y_{i})^{p} \right \}^{\frac{1}{p}} \leq \left ( \sum_{i=1}^{n}|x_{i}|^{p} \right )^{\frac{1}{p}} + \left ( \sum_{i=1}^{n}|y_{i}|^{p} \right )^{\frac{1}{p}} = ||a||_{p} + ||b||_{p}$$