協方差是統計學上表示兩個隨機變量之間的相關性，隨機變量ξ的離差與隨機變量η的離差的乘積的數學期望叫做隨機變量ξ與η的協方差（也叫相關矩），記作cov(ξ, η)：
cov(ξ, η) = E[(ξ-Eξ)(η-Eη)] = E(ξη)-EξEη
對於離散隨機變量，我們有:
對於連續隨機變量，我們有:
隨機變量的協方差用來描述隨機變量之間的相關性，如果ξ與η獨立，則cov(ξ, η)=0. 如果ξ與η相同，則cov(ξ, η)就是變量ξ的方差.
協方差矩陣是一個矩陣，其每個元素是各個矢量元素之間的協方差。這是從標量隨機變量到高維度隨機矢量的自然推廣.
假設
是以
個標量隨機變量組成的列矢量，
並且
是其第i個元素的期望值，即, 
。協方差矩陣被定義的第i，j項是如下：
即：
![\Sigma=\mathrm{E}
\left[
\left(
\textbf{X} - \mathrm{E}[\textbf{X}]
\right)
\left(
\textbf{X} - \mathrm{E}[\textbf{X}]
\right)^\top
\right]](/image/aHR0cDovL3VwbG9hZC53aWtpbWVkaWEub3JnL21hdGgvMS84LzEvMTgxMWY5NDI2ODBhNzI5NzQ1OTdiZTQyYzI4ZDMxZDIucG5n.png)
![=
\begin{bmatrix}
\mathrm{E}[(X_1 - \mu_1)(X_1 - \mu_1)] & \mathrm{E}[(X_1 - \mu_1)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_1 - \mu_1)(X_n - \mu_n)] \\ \\
\mathrm{E}[(X_2 - \mu_2)(X_1 - \mu_1)] & \mathrm{E}[(X_2 - \mu_2)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_2 - \mu_2)(X_n - \mu_n)] \\ \\
\vdots & \vdots & \ddots & \vdots \\ \\
\mathrm{E}[(X_n - \mu_n)(X_1 - \mu_1)] & \mathrm{E}[(X_n - \mu_n)(X_2 - \mu_2)] & \cdots & \mathrm{E}[(X_n - \mu_n)(X_n - \mu_n)]
\end{bmatrix}](/image/aHR0cDovL3VwbG9hZC53aWtpbWVkaWEub3JnL21hdGgvYS8xLzIvYTEyYTU3M2VjZDFkODUzYWJkOGMwMWZhYjlmY2NmYmUucG5n.png)
矩陣中的第
個元素是
與
的協方差。這個概念是對於標量隨機變量方差的一般化推廣。
進一步的分析協方差矩陣
∂i 表示各樣本的Xi變量不同樣本值組成的向量(i=1,2,...n);
βj 表示某一個樣本 j 的各變量值組成的向量(j=1,2,...,m);
用 μi 表示Xi的期望，即 μi =E(Xi).
協方差矩陣為
如果所有μi =E(Xi)=0.則上面表達式就變為：
（實際計算中，分母是m-1，而不用m）