一 向量空間與內積空間
向量空間也稱作線性空間，向量空間對向量線性組合封閉。如果 
為向量空間 V 的一組基，則 
仍在向量空間 V 中。在向量空間中，僅定義了數乘與向量加法運算。在此基礎上，定義內積運算，通過內積運算，可以求解向量長度，向量間角度等概念，這就定義了內積空間。設向量為X, Y，X 長度定義為 
， X,Y 間角度定義為 
。
二 內積定義
在 
空間上，有如下矢量 
和 
，在幾何中，矢量長度表示原點到其端點的距離，根據 Pythagorean 定理，有 
。定義內積 
，則矢量 X 長度等於 
，這樣建立其內積與長度關系。
在復矢量空間 
中，有如下矢量 和 ，定義內積 
。 如何理解復矢量內積？首先，針對單個復數 
，
有 
，使用共軛乘法可求解復數長度。當兩個不同復數共軛乘法時，
，其結果仍然為一個復數，可分解為實數分類與虛數分量。復矢量內積就是對所得復數相加得到一個結果，最終結果一般包括實數分量與虛數分量部分，即一般結果為 
形式。
內積滿足如下性質：
1）正性：如果 v 為非零向量， <v, v> > 0， 該性質對實矢量與復矢量均成立；
2）共軛對稱性：
，針對復矢量，該等式成立，針對實矢量，共軛運算等於本身，則內積運算對稱；
3）均勻性：
， 針對復矢量時 c 為復數，實矢量時 c 為實數；
4）線性：<u + v, w> = <u, w> + <v, w>, <u, v + w> = <u, v> + <u, w>, 針對復矢量與實矢量均成立。
三 
空間與 
空間
一個信號可表示為 f(t) 的函數，在區間 
上 ，空間 
表示所有平方可積函數組成的空間，即
函數 f(t) 可以存在無窮多個間斷點，使用 Lebesgue 觀點，即不考慮測度為零的集合時，在區間 
上的積分和有限。在 N 維向量空間中，空間維度為 N，向量長度也為 N。類比 N 維向量空間，空間 是無限維的（即無限個 f(t) 滿足以上條件）， 區間 可以被無限細分，類似向量長度可以無限長。
假設 f(x), g(x) 是 
空間中的信號，將區間 [0, 1] 離散化為 N 等分，構成 N 為向量 
，
，當 N 趨近無窮大大時，
, 
， 則 
， 
。
當逐漸增大 N 時， 
也隨着逐漸增大，由於 
空間為無限維空間，如果按該方法定義內積將得到一個無限大值（在向量空間中，由於空間維度有限，使用乘積和定義是合理的，其物理意義也很明確）。改進的方法為使用無限和平均值，則有 
。當 N 趨近無窮大時，該式為 Riemann 和近似，則 
內積可定義為：
， 
。
空間內積同樣滿足 正性，共軛對稱性，均勻性以及線性等性質。
由於在 Lebesgue 積分過程中，不考慮測度為零的間斷點，則在 
空間中定義兩個函數相等意味着除了零測度集外，只要其他區域上滿足 f(t) = g(t) 即認為函數相等。
在信號處理應用中，存在很多無限離散序列，
，該離散序列在 j > |N| 時，
，這定義了 
的離散形式：
，這里不再像 定義使用平均值是因為離散序列在 j > |N| 時，。
空間中可以使用兩種方式定義收斂：
1）收斂定義為：給定任意足夠小 
，存在一個足夠大的非負整數 N，使得當 
時， 有 
；
以上定義中使用 內積概念，由於積分過程不考慮測度為零的間斷點，所以並不保證在任意點上兩函數都無限接近；
2）一致收斂定義為：給定任意足夠小 ，存在一個足夠大的非負整數 N，使得當 時， 在區間 
上任意點都滿足 
；
根據以上圖形，很容易得到如下結論：若 
一致收斂到 f，則 
一定 收斂到 f；反之，則不一定成立。
四 Schwarz不等式與三角不等式
1) Schwarz不等式：
；
2）三角不等式： 
；
Schwarz不等式在實空間下證明：
考慮不等式 
，其中 t 為實數變量，使用內積公式展開得：
，由於該不等式大於或等於零，關於 t 的二次函數判別式小於等於零；
， 整理得：
，結論得證。
Schwarz不等式在復空間下證明：
在復空間下內積結果一般為一復數，即 
。要使 X, Y 內積為一實數，可以對 X 做反方向旋轉，故可考慮如下不等式：
，其中 t 為實數變量，
使內積結果為一實數，展開不等式得：
，
根據共軛對稱性質 
，最終得到：
，當旋轉合適 
后，
退化為實數 
。使用二次多項式判別式結論得證。
三角不等式證明：
，因為 
，
所以有 
，兩邊開平方后結論得證。
五 正交
在內積空間 V 中，
1）X, Y 屬於 V ，如果 <X, Y> = 0, 根據余旋定理可得 X, Y 正交；
2）矢量集 
中每個矢量 
，如果 
且彼此正交，則矢量集 
正交；
3）如果 
，一個子空間中每個矢量與另一個子空間每個矢量正交，則子空間 
正交；
在小波變換與傅里葉變換中，分別用到兩個不同得正交矢量集，haar小波函數與三角函數，具體如下：
haar小波函數包括尺度函數 
，小波函數 
，在 
空間中，根據內積定義，
，
正交。
三角函數 f(t) = sint, g(t) = cost, 在 
空間中， 根據內積定義，
，f, g 正交。
矢量可以根據某個正交基展開，
1）如果 
是內積空間 V 的一個子空間，
的正交基為 
，若 
，則 
；
2）如果 是內積空間 V 的一個子空間， 的正交基為 ，若 
，則 
，
且 
，也即 
；
當 時， 有如下推導：
使用正交基 將 v 展開得：
，其中 
為各分量系數，且未知；
令 k 為 [1,N] 區間中一具體整數，做如下運算：
，由矢量基的正交性可得：
；
將 
代入得：
，結論得證。
當 時，v 無法由 
線性張成，但可以在 
空間中找到一個離 v 最近得向量 
，使得 
，推導如下：
假設 
是 
空間最接近 v 的矢量，構造函數：
，由於 是 空間最接近 v 的矢量，則當 t = 0 時函數取得最小值；
考慮實矢量情況下，
，然后對 f(t) 求導：
，由於 t = 0 時函數取得最小值，則有 
，即 。
假設 
可寫成正交基 的線性組合，
，由於 
，有 
，
根據內積線性性質，化簡得： 
，求得 
，即 
。
內積空間可被分為 
與正交補 
，
定義為：
，對任意矢量 
，可以唯一表示 
，其中，
。
使用 Gram-Schmidt 方法可正交化一組基，
內積（子）空間 V 中存在一組基 
，可以尋找一組對應正交基 
，其中 
，具體方法如下：
1）定義 
；
2）
在 
上投影為：
，則 
，
，確保 
且 
；
3）
在 
，
上投影為：
，
，
；
4）重復以上過程知道求解出 
，完成 Gram-Schmidt 正交化。
參考資料 小波與傅里葉分析基礎 Albert Boggess & Francis J. Narcowich