線性系統的基本定義
線性系統的基本定義
線性系統將輸入與輸出映射起來，輸出滿足疊加性原則（It's a mapping from inputs to outputs satisfies the principle of superposition）
下圖為一個基本的線性系統
$L(v_1+v_2) = Lv_1+Lv_2$
$L(\alpha v) = \alpha Lv$
結合上面兩個性質，有
$\displaystyle{ L\left( \sum_{i=1}^{n}\alpha_i v_i \right) = \sum_{i=1}^{n}\alpha_i Lv_i }$
線性系統的例子
例：線性系統的輸入與輸出呈正比例關系
$Lv = a v$
線性系統驗證，主要是驗證該例子是否滿足線性系統的疊加性原則
$L(v_1+v_2) = a(v_1+v_2) = a v_1+a v_2 = Lv_1+Lv_2$
$L(\alpha v) = a(\alpha v) = \alpha av = \alpha Lv$
這個例子也是線性系統的唯一例子，所有線性系統都可以回歸到這種正比例關系。
一般來說，線性系統就是乘積關系，這意思是說，你可以把它當作一個常數$a$乘以一個常數$v$，如果輸入的不是常數$v$而是函數$v(t)$，那么常數$a$就變成函數$a(t)$，即
$Lv(t) = a(t)v(t)$
應用實例
1) 一個開關
$Lv(t) = \Pi_a(t)v(t)$
$\Pi_a$代表打開開關$a$時間后斷開開關，這是一個乘法關系
2) 抽樣
$Lv(t) = Ш_p(t)v(t)$
對輸入函數$v(t)$進行抽樣也是一個乘法關系
離散有限維線性系統
矩陣的乘法
對正比例關系進行擴展（一般化），進行比例運算后再把結果相加，也就是矩陣的乘法。可以按照下面的方式進行描述
$A$為$n \times m$矩陣，$v$是有$m$階元素，即有$m$行的列向量。
$A=(a_{ij}) \qquad v = {v_j}$
他們進行矩陣乘法后得到一個含有$n$行的列向量，其中第$i$行的元素為
$(Av)_i = \displaystyle{ \sum_{j=i}^{m} a_{ij}v_{j} }$
另外，毫無疑問，矩陣的乘法也符合疊加性原則，此處略去驗證步驟
特殊的離散有限維線性系統
既然我們可以用矩陣乘法來表示離散有限維線性系統，那么一些特殊的線性系統，它的特殊性就是來自於代表該線性系統的矩陣$A$的特殊性
例如：
矩陣$A$為$N \times N$的矩陣，如果$A$是對稱的，即
$A^{T} = A$
如果$A$是復數的情況下（厄米共軛），即
$A^{*} = A$
如果$A$為酉矩陣，即
$AA^{T} = I \qquad AA^{*} = I$
具有特征向量的線性系統矩陣
要去理解線性系統，一個非常重要的方法就是去理解該線性系統矩陣$A$的特征值和特征向量，這也是傅里葉變換引入的地方。
並非所有的矩陣都有特征值與特征向量，矩陣必須滿足某些條件。關於特征值與特征向量，有如下定義
如果有$Av = \lambda v \ ,\ v\neq 0$，那么$v$就是矩陣$A$的特征向量，$\lambda$就是相應的特征值。
如果線性系統的矩陣$A$滿足了這個條件，那么表明整體的輸入與整體的輸出成正比關系。
如果對於某個線性系統矩陣$A$，有特征向量$v_1,v_2,…,v_n$，他們相應的特征值為$\lambda_1,\lambda_2,…,\lambda_n$，這些特征向量就形成了對於所有輸入的一組基。這句話的意思是：對於任意的輸入$v$都能用下式來表達
$v = \displaystyle{ \sum_{i=1}^{n}\alpha_iv_i }$
那么，線性系統矩陣$A$對任意輸入$v$的作用就可以表達為
$Av = \displaystyle{ \sum_{i=1}^{n}A(\alpha_iv_i) = \sum_{i=1}^n\alpha_i(Av_i) = \sum_{i=1}^n \alpha_i\lambda_iv_i }$
那么現在的問題是，線性系統在什么時候才會有一組特征向量基呢？
在線性代數中，有限維中的矩陣普定理（spectral theorem）說明了：如果$A$在復數情況下是一個厄米算符（Hermitian operator）或者實數情況下是對稱算子，那么它就會有一組特征向量正交基。
（Spectral theorem says if A is symmetric or, in the complex case, Hermitian, then you can find an orthonormal basis of eigen vectors.）
- 矩陣乘法不僅僅是有限維線性系統的一個好例子，它還是唯一的例子，也就是說在一個有限維度空間內的任何線性算符都可以被理解為矩陣乘法。
例子
有輸入為小於等於$n$階的多項式
$a_0+a_1x+a_2x^2+…+a_nx^n$
現在我們需要對該輸入進行線性運算，線性算符為微分，即
$L = \frac{d}{dx}$
求解過程如下，
由於輸入共有$n+1$項，所以把$L$當作一個$(n+1)\times(n+1)$的矩陣，我們需要求出$L$的這個矩陣具體是什么。
根據我們對微分的理解，可以寫成如下等式
$L\cdot \begin{bmatrix}
a_0\\
a_1\\
a_2\\
\vdots\\
a_n
\end{bmatrix}
=
\begin{bmatrix}
a_1\\
2a_2\\
\vdots\\
na_n\\
0
\end{bmatrix}$
那么矩陣$L$為
$L=\begin{bmatrix}
0 &1 &0 & & &... &0 \\
0 &0 &2 &0 & &... &0 \\
0 &0 &0 &3 &0 &... &0 \\
0 &0 &0 &0 &4 &... &0 \\
\vdots &\vdots &\vdots &\vdots &\vdots &... &\vdots \\
0 &0 &0 & & &... &n \\
0 &0 &0 &0 & &... &0
\end{bmatrix}$
連續無限維線性系統
核函數的積分
在無限連續的情況下，有一個與離散有限相類似的描述。
這里引入一個線性系統的例子，該例子對矩陣乘法進行了一般化，變成了對輸入函數與核函數的積分。（The example that generalizes matrix multiplication is integration against a kernel）
在一般化后，輸入從列向量變成了函數$v(x)$，而代表線性系統的線性算符從矩陣$L$變成了核函數$k(x,y)$，$k$有兩個變量$x,y$，其運算過程為
$Lv(x) = \displaystyle{ \int_{-\infty}^{\infty}k(x,y)v(y)dy }$
其中積分為線性的，積分符合疊加性原則，即
$\begin{align*}
L(a_1v_1(x)+a_2v_2(x))
&=\int_{-\infty}^{\infty}k(x,y)\left(a_1v_1(y)+a_2v_2(y)\right)dy \\
&=a_1 \int_{-\infty}^{\infty}k(x,y)v_1(y)dy+a_2\int_{-\infty}^{\infty}k(x,y)v_2(y)dy\\
&=a_1Lv_1(x)+a_2Lv_2(x)
\end{align*}$
因此對輸入函數與核函數的積分必然也是一個線性系統。
另外一種理解方式
我們也可以用另外一種方式去理解上述的積分線性系統。
- 把輸入函數$v(y)$當作無限維度的列矩陣，$y$為下標
- 把核函數$k(x,y)$當作無限維度的線性系統矩陣，$x,y$分別為行、列下標
- $K(x,y)v(y)$代表了$k$的$k_{xy}$項與$v$的$v_y$項的乘積
- $\displaystyle{ \int_{-\infty}^{\infty}k(x,y)v(y)dy }$代表了$k$的第$x$行與整個$v$列矩陣的內積，最終會得到以$x$為下標的無限維度列矩陣$Lv(x)$
一些特殊的核函數
1) 在前面我們通過矩陣討論了一些具有特殊性質的線性系統，比如說
① 線性系統矩陣$A$是對稱的。② 線性系統$A$是厄米共軛對稱的
$A^{T} = A \qquad A^{*} = A$
他們在核函數上的表現為
$k(x,y) = k(y,x) \qquad k(x,y) = \overline{k(y,x)}$
2) 在本課程中，最基本的線性系統的例子就是傅里葉變換
$\displaystyle{ \mathcal{F}f(s) = \int_{-\infty}^{\infty}e^{-2\pi ist}f(t)dt }$
其中核函數為$k(s,t) = e^{-2\pi ist}$，它也滿足對稱性。
3) 卷積的計算過程也是一個線性系統
卷積的公式如下
$\displaystyle{ h*v = \int_{-\infty}^{\infty}h(x-y)v(y)dy }$
以線性系統的角度來分析，即
$\displaystyle{ Lv = \int_{-\infty}^{\infty}h(x-y)v(y)dy }$
這里的核函數為$h(x-y)$，特殊的是該核函數並非基於單獨的$x,y$，而是基於他們的差值$x-y$。
當我們令$x,y$同時移動$a$，即
$\begin{align*}
x\ &\rightarrow \ x-a \\
y\ &\rightarrow \ y-a \\
(x-y)\ &\rightarrow \ (x-a)-(y-a)=x-y
\end{align*}$
差值仍是原來的差值，這導致了卷積成為線性時（移）不變性系統（linear shift invariant or time invariant system）。
總結
- 對核函數積分不僅僅是連續無限維度線性系統的一個好例子，他還是唯一的例子，也就是說，任意在練習無限維度空間內的線性系統都能通過對核函數的積分來表示
這節課概念性的東西較多，但是大體可以分為三個方面
- 對線性系統有個概念性的了解，了解它的疊加性原則以及正比例關系
- 離散有限維線性系統都可以用矩陣的乘法進行表達
- 連續無限維線性系統都可以用核函數的積分進行表達