21/8/26 讀書筆記
程序員的數學2 協方差矩陣和橢圓的關系
我們在之前的學習中可以得知，對於一個隨機變量\(\bold X\)，我們可以通過其協方差矩陣得到其在任意方向上的發散程度（即方差）:
我們用一個橢圓來表示，該橢圓在任意方向上的徑恰等於\(\bold X\)在這個方向上的標准差\(\sqrt{V[\bold u^T\bold X]}\)，需要注意：
- 這個橢圓的徑只是標准差而不是極差，這意味着有的點是在橢圓之外的，事實上大部分可取的值都不會處在該橢圓中。
- \(\bold X\)的概率密度函數不一定是一個橢圓（它不一定是多元正態分布），我們只能保證其在該方向上的標准差為一定值，但是不能確保其具體的分布情況。
當我們的協方差矩陣\(V[\bold X]\)是一個單位矩陣時，獲得的橢圓自動變為一個半徑為1的圓。
當我們的協方差矩陣\(V[\bold X]\)是一個對角矩陣時，我們可以將其理解為對\(\bold X\)進行一定變換成\(\bold Z\)，使得協方差矩陣\(V[\bold Z]\)是一個單位矩陣，再在變換后的空間里畫圓，然后逆變換回來，我們得到的是一個主軸平行與坐標軸的橢圓。
更一般的，當我們的協方差矩陣\(V[\bold X]\)是一個一般矩陣時，我們還是遵從上述的思想，對\(\bold X\)進行一定變換成\(\bold Z\)，使得協方差矩陣\(V[\bold Z]\)是一個對角矩陣，再在變換后的空間里畫橢圓，然后逆變換回來。這里的變換主要涉及的旋轉，需要借助正交矩陣\(Q\)，這在之前的學習中已經解釋清楚了。我們需要注意到，\(Q\)是由協方差矩陣\(V[\bold X]\)的特征向量單位化后組成的，因此對於單位向量\(\bold e_i=(\underbrace{0,..0}_{i-1個0},1,...0)\)，我們知道\(Q\bold e_i=\bold q_i\)就是其中一個特征向量，而由於變換后，橢圓主軸平行於\(\bold Z\)所在空間內坐標軸，因此逆變換后，\(\bold Z\)所在空間內的單位向量按上述方式被逆變換成了\(\bold q_i\)，其與橢圓主軸的平行關系不改變，因此橢圓主軸與特征向量始終平行。
由此我們可以發現，無論對於何種分布，協方差矩陣始終對應一個用於描述標准差的橢圓。
但是協方差矩陣也具有一定局限性，其不能描述高階相關的隨機變量，比如對於\(X_1\)、\(X_2\)、\(X_3\)，如果\(X_3\)只有當\(X_1\)和\(X_2\)均取得較大值時才傾向於取較大值，此時協方差矩陣無法准確描述三個變量的相關關系。實際上，協方差矩陣可以考察任意兩個隨機變量之間的相關性，但是無法得出所有隨機變量之間的相關性。
\(X_3\)與(\(X_1\)和\(X_2\)之間的關聯)相關聯，故稱為高階相關