關於covariance matrix(協方差矩陣)的理解

1,離散隨機變量的X的數學期望：

E(X)=∑k=1∞xkpk

 

2,方差:

研究隨機變量與其均值的偏離程度，記為:

對於離散的：

D(X)=E[X−E(X)]2

3,均方差,標准差：

4,協方差的定義：

 

對於一般的分布，直接代入E(X)之類的就可以計算出來了，但真給你一個具體數值的分布，要計算協方差矩陣，根據這個公式來計算，還真不容易反應過來。這里用一個例子說明協方差矩陣是怎么計算出來的吧。

記住，X、Y是一個列向量，它表示了每種情況下每個樣本可能出現的數。比如給定

 

則X表示x軸可能出現的數，Y表示y軸可能出現的。注意這里是關鍵，給定了4個樣本，每個樣本都是二維的，所以只可能有X和Y兩種維度。所以

 

用中文來描述，就是：

協方差(i,j)=（第i列的所有元素-第i列的均值）*（第j列的所有元素-第j列的均值）

這里只有X,Y兩列，所以得到的協方差矩陣是2x2的矩陣，下面分別求出每一個元素：

 

       所以，按照定義，給定的4個二維樣本的協方差矩陣為：

 

最后,協方差矩陣都是方陣，它的維度與樣本維度有關（相等）。

 

摘自: https://blog.csdn.net/qq_23869697/article/details/80610361

　　  https://blog.csdn.net/chezhai/article/details/56842517