作者：桂。
時間：2017-09-09 12:48:45
鏈接：http://www.cnblogs.com/xingshansi/p/7498175.html
一、復數相乘
可以表示為分塊的形式：
二、范數
A-范數基本定義
p = 0，0范數，對應非零元素個數；
p = 1，1范數，也成和范數；
p = 2，常稱為Euclidean范數，也成Frobenius范數
p = ∞， 無窮范數，也稱極大范數。
直接定義p，則p范數或Minkowski p范數，也叫Holder范數。
B-其他常用范數
1-譜范數（spectrum norm）
其中
是矩陣A的最大奇異值，即
最大特征值的正平方根。
譜范數也稱最大奇異值范數或者算子范數（operator norm）。
2-Mahalanobis范數
其中
是正定矩陣。
三、矩陣的跡
A-跡的一般性質
跡等於特征值之和：
而根據SVD分解特性（PCA、KL變換均有用到），可知特征值體現的是能量，故矩陣的跡可以與Euclidean范數建立聯系：
B-跡的其他特性
其實矩陣的跡，借助矩陣分解來理解會容易很多，跡的其他特性：
由於1標量可以，其本身看作與跡等價，從而有（tr(AB)=tr(BA)、對角和=跡，借助這兩條性質可證）：
C-跡的微分特性
1）若W是mxm的矩陣：
2）若W可逆：
3）對於矩陣W、A，有
4）若W非奇異，
5）對於矩陣W、A：
6）對於矩陣W、A、B，且W非奇異：
四、行列式
給出行列式定義：
對於一個三角矩陣A：
另外，
五、矩陣求逆
A-矩陣求逆基本性質
若A\B\C可逆：
若A為對角陣
：
若A非奇異：
B-矩陣求逆引理
求逆引理，也稱Sherman-Morrison公式：若A是一個nxn的可逆矩陣，且x和y是兩個nx1的向量，使得 
可逆，則：
該引理可進一步推廣為矩陣之和的求逆公式：
簡化的形式：
分塊矩陣求逆：
1）若A可逆：
2）若A、D均可逆：
C-廣義逆矩陣
廣義逆矩陣參考之前的博文。
六、Hadamard積與Kronecker積
A-矩陣的直和
mxm的矩陣A與nxn的矩陣B，其直和記作：
，它是一個(m+n)x(m+n)的矩陣，
B-Hadamard積
Hadamard積其實就是對應元素相乘。
兩個mxn的矩陣
、
，其Hadamard積記作：
，
C-Kronecker積
Kronecker積表示的是矩陣元素與另一矩陣相乘的運算，用
表示。
1）右Kronecker積：mxn矩陣A和pxq的矩陣B：
2）左Kronecker積：mxn矩陣A和pxq的矩陣B：
其中
同樣可以寫為
。
七、矩陣梯度
一個基本形式是：
借助該形式，即可完成一般的梯度求解：
同時，結合梯度的四個基本法則，便可完成常用的梯度求解。
1）線性法則
2）乘積法則
3）商法則
4）鏈式法則
