引言、
最近在看周志華老師的《機器學習》，期間在主成分分析和降維學習方面經常出現樣本協方差矩陣的計算，這里對這一部分知識進行查閱和辨析，以便以后學習階段的理解。
樣本與隨機變量
樣本的獲取可以看作是隨機變量的采集過程。我們將兩者的區別盡可能放大：
隨機變量：此時我們已經知道了變量的分布情況，即假設知道了nature of system。我們可以通過期望值來計算方差、協方差以及協方差矩陣。
樣本：然而事與願違，大部分科研研究所獲得的數據並不是隨機變量——我們並不事先知道變量的分布情況（否則還研究什么？？），所以只能通過收集到的樣本信息去估計unknown nature of system。因此，樣本協方差（sample covariance）更加常見。
根據數理統計課本中的定義：X1，X2，X3，……，Xn相互獨立且都與總體X同分布，則稱X1，X2，X3，……，Xn為來自總體X的簡單隨機樣本，簡稱樣本。n為樣本容量。（至於為什么需要相互獨立你可以理解為定義方便，這樣子在后續的應用中，如極大似然估計，方便運用）。
樣本X1，X2，X3，……，Xn的數字特征：
（1）樣本均值
（2）樣本方差
（3）樣本標准差
通常，我們根據樣本均值和樣本方差來估計隨機變量的均值和方差：
如果總體X有數學期望E(x)=μ，則
如果總體X有方差D(X)，則
協方差、
在提到協方差時，我們通常說的是兩部分：（1）隨機變量的協方差。跟數學期望、方差一樣，是分布的一個總體參數。（2）樣本的協方差。是樣本集的一個統計量，可作為聯合分布總體參數的一個估計。在實際中計算的通常是樣本的協方差。
引用一下博主 苦力笨笨 博客 https://www.cnblogs.com/terencezhou/p/6235974.html
在上述博客中對於隨機變量、樣本的協方差、協方差矩陣四個部分有了較為全面的講解。具體的講解大家可以轉至上述鏈接。