一、協方差矩陣
協方差矩陣為對稱矩陣。
在高斯分布中，方差越大，數據分布越分散，方差越小發，數據分布越集中。
在協方差矩陣中，假設矩陣為二維，若第二維的方差大於第一維的方差，則在圖像上的體現就是：高斯分布呈現一個橢圓形，且主軸對應的就是方差大的第二維度。簡而言之，若對角線元素相等，則高斯分布的圖形是圓形，反之則分布圖形為橢圓形。
若協方差矩陣的非對角元素為0，則高斯分布圖形平行於坐標軸，反之則不平行。
- 為什么當樣本數量遠小於特征向量的維數n時，協方差逆矩陣不存在（矩陣不滿秩）？
- 在多變量高斯分布中，協方差矩陣和均值刻畫了每個維度的特征，n維可以理解為有n個未知量，每一個樣本可以構造一個等式，如果樣本數量小於未知量n,那么這個n元方程組將無法求解。
- 此外，在多變量高斯分布中，公式里包含了協方差矩陣的行列式和逆矩陣，如果不滿秩，則公式無法表達。
- 為什么限制了協方差矩陣為對角矩陣，那么高斯分布的形狀就會和坐標軸平行？
- 限制協方差矩陣為對角矩陣，意味着不同維度之間的協方差為0，則會使得模型丟失了不同維度之間的相關性。
二、因子分析模型
- 為什么因子分析模型可以解決樣本數量少於特征維度n的問題？
- 假設對於某個問題，有m個n維的樣本數據，若m小於n,則協方差矩陣就不可逆，高斯分布的公式也無法得解，而在因子分析模型中，將n維的數據視為由d維（d < n）的變量經過一定的變換得到的，從而降低了問題的維度，使得m > n。（個人理解，不一定對）
- 假設可以解釋為：每個點x都是由d維正態隨機變量z生成。