二次型是一種特殊的二次函數，其中只含二次項， 在機器學習中常以目標函數的形式出現。
基本概念
- 二次型（Quardic Form），只包含二次項的函數，如：
二次型可以寫成矩陣的形式：\(\boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x}\)，\(\boldsymbol{x}^T = (x\ y\ z)^T\)。其中 \(\boldsymbol{A} = [a]_{ij}\) 是對稱矩陣。對於一個二次型，可以快速地求出 \(\boldsymbol{A}\) ：平方項 \(ax_i^2\) 的系數是矩陣的主對角線元素，交叉乘積項 \(ax_ix_j\) 的系數由 \(a_{ij}\) 和 \(a_{ji}\) 均分。實對稱矩陣與二次型一一對應。例子中的 \(\boldsymbol{A}\) 為：
- 正定二次型與正定矩陣
如果一個二次型對於任意非 \(\boldsymbol{0}\) 向量 \(\boldsymbol{x}\) 都有：
則稱該二次型為正定（Positive Definite）二次型，\(\boldsymbol{A}\) 為正定矩陣（實對稱矩陣與二次型一一對應）。正定矩陣的所有主對角線元素 \(a_{ii} > 0\)。證明：
根據正定的定義，構造一個第 \(i\) 個分量為1，其余分量為0的向量 \(\boldsymbol{x}\)，則有 \(\boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x} = a_{ii} > 0\)
證畢。
- 半正定二次型與半正定矩陣
如果一個二次型對於任意非 \(\boldsymbol{0}\) 向量 \(\boldsymbol{x}\) 都有：
則稱該二次型為半正定（Positive Semi-Definite）二次型，\(\boldsymbol{A}\) 半為正定矩陣（實對稱矩陣與二次型一一對應）。
- 負定二次型與負定矩陣
如果一個二次型對於任意非 \(\boldsymbol{0}\) 向量 \(\boldsymbol{x}\) 都有：
則稱該二次型為負定（Negative Definite）二次型，\(\boldsymbol{A}\) 為負定矩陣（實對稱矩陣與二次型一一對應）。類似的可以定義半負定矩陣。如果既不正定也不負定，則稱為不定。
半正定矩陣的一些性質
- 若給定任意一個半正定矩陣 \(\boldsymbol{A}\) 和一個向量 \(\boldsymbol{x}\)，則兩者相乘得到的向量 \(\boldsymbol{y = Ax}\) 與向量 \(\boldsymbol{x}\) 的夾角恆小於或等於 $\frac{\pi}{2} (等價於： \(\boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x} \geq 0\));
- 協方差矩陣是半正定的[1][2]；
- 半正定矩陣的行列式是非負的；
- 兩個半正定矩陣的和是半正定的；
- 非負實數與半正定矩陣的數乘矩陣是半正定的。
正定矩陣判定規則
- \(\boldsymbol{A}\) 的 \(n\) 個特征值 \(\lambda_1,\ ...,\ \lambda_n\) 均大於0.
證明
待補充
- 存在可逆矩陣 \(\boldsymbol{P}\) 使得 \(\boldsymbol{A} = \boldsymbol{P} \boldsymbol{P}\).
證明
對於任意非 \(\boldsymbol{0}\) 向量 \(\boldsymbol{x}\) 有：
\[\boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x} = \boldsymbol{x}^T \boldsymbol{P}^T \boldsymbol{P} \boldsymbol{x} = (\boldsymbol{Px})^T \boldsymbol{Px} \]因為 \(\boldsymbol{P}\) 可逆，故對於任意非 \(\boldsymbol{0}\) 向量 \(\boldsymbol{x}\) 有 \(\boldsymbol{Px} \neq \boldsymbol{0}\)，即 \((\boldsymbol{Px})^T \boldsymbol{Px} > 0\)。
證畢。
- 如果 \(\boldsymbol{A}\) 是正定矩陣，則 \(\boldsymbol{A}\) 也是正定矩陣.
證明
\((\boldsymbol{x}^T \boldsymbol{A}^T \boldsymbol{x})^T = \boldsymbol{x}^T \boldsymbol{A} \boldsymbol{x} > 0\)
證畢。
- \(\boldsymbol{A}\) 的所有順序主子式（由矩陣前 \(k\) 行，前 \(k\) 列的元素形成的行列式）均為正.
證明
待補充
未完待續。。。