第六章 正交性與最小二乘
正交投影（可以用於正交化、解釋最小二乘，QR分解用於最小二乘）
最小二乘也是唯一的
正交化方法
使用正交基計算投影（用於最小二乘）
QR分解（使用正交化方法）
最小二乘問題的幾何描述（尋找距離最近的投影）
有唯一解的條件
另一種解法
其他曲線的最小二乘擬合
對稱矩陣和二次型
將多種像素重新線性組合，使得合成的圖像景象差異更加明顯。
對稱矩陣的對角化
譜分解(特征值反映了在對應的特征向量的子空間投影的權重，例如A表示將圓映射為橢圓的矩陣，則其特征值反映了長軸和短軸)
特征值分解可以用於數據壓縮（只需要大的特征值和對應的特征向量就可以近似原來的矩陣）
主軸定理（去掉二次型的交叉項）
通過特征值求解二次型最大值
有條件限制時求解最大值（單位球上的向量，在第二大特征值特征向量方向取得）
奇異值分解
使用二次型求解最大拉伸方向
注意Av是A的列空間的正交基
注意Av是A的列空間的正交基
奇異值分解的步驟
莫爾逆矩陣：直接得到b在A的列空間的正交投影，直接求解最小二乘x
主成分分析（正交回歸）：可以使得不同維度分量組合后的方差最大，或者是得到使得投影后方差最大的方向。計算協方差矩陣的特征值，用對應的特征向量作為權值將原變量線性組合，使得組合后的變量方差最大。
PCA把原先的n個特征用數目更少的m個特征取代，新特征是舊特征的線性組合，這些線性組合最大化樣本方差，盡量使新的m個特征互不相關。
計算方法：
1.有m個d-維數據，每個d維數據表示為列向量，將列向量拼成m列。得到d行m列的矩陣。
2.計算協方差矩陣。
3.計算S的特征值
和特征向量
。（
）
4.選取前k個最大特征根對應的特征向量，得到矩陣
5.AX相乘得到投影矩陣。
PCA把原先的n個特征用數目更少的m個特征取代，新特征是舊特征的線性組合，這些線性組合最大化樣本方差，盡量使新的m個特征互不相關。
