矩陣卷積，離散有限維線性時不變系統
與上一節課連續無限維線性時不變系統有相同的描述：當且僅當線性算符是用卷積表達的，該系統才是線性時不變系統（LTI system）。
$\underline{w} = Av = \underline{h}* \underline{v}$
上述等式表達了離散有限維的線性時不變系統，它能表達成脈沖響應與輸入的矩陣乘積，也能表達成矩陣間的卷積。
下面我們通過一個例子加深對線性時不變系統的理解。
例，假設有LTI系統
$\underline{w} = Av = \underline{h}* \underline{v} \qquad ,\underline{h}=\begin{pmatrix}1\\ 2\\ 3\\ 4\\\end{pmatrix}$
求該LTI系統矩陣$A$。
根據上節課學習到的知識，我們知道矩陣$A$是該LTI系統的脈沖響應，即
$\begin{align*}
A
&=A[\underline{\delta}_0,\underline{\delta}_1,\underline{\delta}_2,\underline{\delta}_3] \\
&=[A\underline{\delta}_0,A\underline{\delta}_1,A\underline{\delta}_2,A\underline{\delta}_3]\\
&=[\underline{h}*\underline{\delta}_0,\underline{h}*\underline{\delta}_1,\underline{h}*\underline{\delta}_2,\underline{h}*\underline{\delta}_3]\\
&=\left[
\begin{bmatrix}
1\\
2\\
3\\
4
\end{bmatrix}
\begin{bmatrix}
4\\
1\\
2\\
3
\end{bmatrix}
\begin{bmatrix}
3\\
4\\
1\\
2
\end{bmatrix}
\begin{bmatrix}
2\\
3\\
4\\
1
\end{bmatrix}
\right ] \qquad \delta\ shift\ property\\
&=\begin{bmatrix}
1 &4 &3 &2 \\
2 &1 &4 &3 \\
3 &2 &1 &4 \\
4 &3 &2 &1
\end{bmatrix}
\end{align*}$
這類矩陣被稱為循環矩陣（circulant matrix），具有周期性。這里的周期性是指矩陣的每一列都是由前一列移位得到的。
線性時不變系統的特征值，特征函數/特征向量
連續無限維空間
在連續無限維空間內，LTI系統有如下表示
$w(t) = Lv(t) = (h*v)(t)$
它的傅里葉變換為
$\mathcal{F}w = \mathcal{F}h\mathcal{F}v$
轉換成下面的符號表示
$W(s) = H(s)V(s)$
其中$H(s)$被稱為傳遞函數
LTI系統的特征函數是復指數函數
在討論矩陣乘法的時候，我們引入了特征向量與特征值，而現在討論的是連續無限維空間，這里引入類似的概念：特征函數。
特征函數的定義是：在LTI系統中，如果有$Lv(t) = \lambda v(t)$，則$v(x)$是該LTI系統的特征函數，$\lambda$是相應的特征值。
那么為什么LTI系統的特征函數是復指數函數呢？
結論由以下推導得到:
為一個LTI系統輸入復指數函數$e^{2\pi i\nu t}$，它在頻域的表現為
$\begin{align*}
W(s)
&=H(s)V(s)\\
&=H(s)\mathcal{F}(e^{2\pi i\nu t})\\
&=H(s)\delta(s-\nu)\\
&=H(\nu)\delta(s-\nu) \qquad(\delta\ shift\ property)
\end{align*}$
它在時域的表現為，
$w(t) = Le^{2\pi i\nu t} = H(\nu)e^{2\pi i\nu t} \qquad H(\nu)\ is\ constant$
由上述等式我們知道，在LTI系統中
- 復指數$e^{2\pi i\nu t}$是其特征函數
- $H(\nu) = (\mathcal{F}h)(\nu)$是相應的特征值
那么LTI是否有其它特征函數呢？
我們這里以$v(t) = cos(2\pi \nu t)$作為輸入看看它是否為特征函數。
$\begin{align*}
Lv(t)
&=Lcos(2\pi i\nu t)\\
&=L\frac{1}{2}\left(e^{2\pi i\nu t}+e^{-2\pi i\nu t}\right)\\
&=\frac{1}{2}\left(Le^{2\pi i\nu t}+Le^{-2\pi i\nu t}\right)\\
&=\frac{1}{2}\left(H(\nu)e^{2\pi i\nu t}+H(-\nu)e^{-2\pi i\nu t}\right)\\
&=\frac{1}{2}\left(H(\nu)e^{2\pi i\nu t}+\overline{H(\nu)}e^{-2\pi i\nu t}\right)\qquad h(t)\ is\ real-valued\ ,it's\ symmetric\ in\ frequency,H(-\nu)=\overline{H(\nu)}\\
&=\frac{1}{2}\left(H(\nu)e^{2\pi i\nu t}+\overline{H(\nu)e^{2\pi i\nu t}}\right)\\
&=\frac{1}{2}\times 2Re\left(H(\nu)e^{2\pi i\nu t}\right)\qquad (a+bi)+(a-bi)=2a,Re\ means\ real\ part\\
&=Re\left(|H(\nu)|e^{i\phi(\nu)}e^{2\pi i\nu t}\right) \qquad H(\nu)=|H(\nu)|e^{i\phi(\nu)}\\
&=|H(\nu)|Re\left(e^{i(2\pi \nu t+\phi(\nu))}\right)\\
&=|H(\nu)|Re\left(cos(2\pi\nu t+\phi(\nu))+isin(2\pi\nu t+\phi(\nu))\right) \qquad Eular\ Fomular\\
&=|H(\nu)|Re\left(cos(2\pi\nu t+\phi(\nu))\right)
\end{align*}$
結果是，在LTI中，$cos(2\pi\nu t)$並不能被轉換成$\lambda cos(2\pi\nu t)$的形式，因此不是特征函數。
實際上，只有復指數函數才是LTI的特征函數。
離散有限維空間
在離散有限維空間中，LTI系統有如下表示
$\underline{w} = L\underline{v} = \underline{h}* \underline{v}$
它的離散傅里葉變換為
$\underline{\mathcal{F}w} = (\underline{\mathcal{F}h})(\underline{\mathcal{F}v})$
轉換成下面的符號表示
$\underline{W} = \underline{H}\underline{V}$
LTI的特征向量為復指數向量
該結論由以下推導得到
為離散LTI系統輸入復指數向量$\underline{\omega}^{k}$，即
$\underline{v} = \underline{\omega}^{k} = \left(1,e^{2\pi i\frac{k}{N}},e^{2\pi i\frac{2k}{N}},…,e^{2\pi i\frac{(N-1)k}{N}}\right)$
他們在頻域的表現為
$\begin{align*}
\underline{\mathcal{F}}\underline{w}[m]
&=\underline{\mathcal{F}h}[m]\underline{\mathcal{F}\omega}^k[m]\\
&=\underline{\mathcal{F}h}[m]N\underline{\delta}[m-k]\\
&=\underline{\mathcal{F}h}[k]N\underline{\delta}[m-k]\\
&=\underline{H}[k]N\underline{\delta}[m-k]
\end{align*}$
他們在時域上的表現為（對上面的結果進行IDFT）
$\underline{w}[m] = \underline{H}[k]\underline{\omega}^{k}[m]$
即
$\underline{w} = L\underline{\omega}^k = \underline{H}[k]\underline{\omega}^{k}$
由上述結果我們知道，在LTI系統中
- 特征向量為$\underline{\omega}^k$，即$\underline{\omega}$為LTI的特征向量基，$k$可以為任何整數
- 相應的特征值為$\underline{H}[k]$
下面是一個求離散有限維LTI系統特征值的例子
設有LTI系統如下
$\underline{w} = L\underline{v} = \underline{h}* \underline{v}\qquad \qquad \underline{h} = \left(1, 2, 3, 4\right)$
特征值為$\underline{H}[k] = \underline{\mathcal{F}h}[k]$
首先我們需要求出$\underline{H}$
$\underline{H} = \underline{\mathcal{F}h} = \displaystyle{\sum_{k=0}^{3}\underline{h}[k]\underline{\omega}^{-k}} = (10,-2+2i,-2,-2-2i)$
算得上述結果后，我們就能根據特征向量$\underline{\omega}^k$中的$k$值來選擇相應的$\underline{H}[k]$（$\underline{H}$是周期循環的）。