1 樣本均值
設 $X_{1}, X_{2}, \cdots, X_{n}$ 為總體 $X$ 的樣本，樣本容量為 $n$ , 則樣本均值為
$\bar{X}=\frac{1}{n} \sum \limits _{i=1}^{n} X_{i}$
用樣本均值 $\bar{X}$ 來估計總體的期望 $ \mu$，$\bar{X}$ 是圍繞 $ \mu$ 左右波動的，即多次采樣計算出來的統計量 $ \bar{X}$ 有的落在 $ \mu$ 左邊，有的落在 $ \mu$ 右邊，由於 $ \bar{X}$ 落在 $ \mu$ 左右兩側的情況是均勻的，即 $ E(\bar{X})=\mu$，所以 $ \bar{X}$ 就是 $ \mu$ 的無偏估計。
樣本均值能夠保持比較好的無偏性是因為它的計算過程本質還是一個線性過程，這個就是無偏。
2 期望
離散型
- 如果隨機變量只取得有限個值或無窮能按一定次序一一列出，其值域為一個或若干個有限或無限區間，這樣的隨機變量稱為離散型隨機變量。
- 離散型隨機變量的一切可能的取值 $x_{i}$ 與對應的概率 $p\left(x_{i}\right)$ 乘積之和稱為該離散型隨機變量的數學期望 (若該求和絕對收斂），記為 $E(x) $。 它是簡單算術平均的一種推廣，類似加權平均。
離散型隨機變量 $X$ 的取值為 $ X_{1}, X_{2}, X_{3}, \ldots, X_{n}$，$p\left(X_{1}\right), p\left(X_{2}\right), p\left(X_{3}\right), \ldots, p\left(X_{n}\right) $ 為 $ X$ 對應取值的概率, 可理解為數據 $ X_{1}, X_{2}, X_{3}, \ldots, X_{n}$ 出現的頻率 $ f\left(X_{i}\right) $, 則:
$E(X)=X_{1} * p\left(X_{1}\right)+X_{2} * p\left(X_{2}\right)+\ldots+X_{n} * p\left(X_{n}\right)$
$\quad \quad \quad=X_{1} * f\left(X_{1}\right)+X_{2} * f\left(X_{2}\right)+\ldots+X_{n} * f\left(X_{n}\right)$
$E(X)=\sum \limits _{k=1}^{\infty} x_{k} p_{k}$
離散型隨機變量函數的數學期望:
- 設隨機變量 $Y$ 是 $X$ 的函數, 即 $Y=g(X)$，則 $Y$ 的數學期望為
$E(Y)=E(g(X))=\sum g\left(x_{k}\right) p_{k}, k=1,2,3,4 \ldots$
- 設隨機變量 $Z$ 是 $X$ 和 $Y$ 的函數, 則 $Z=g(X, Y)$ ，則 $Z$ 的數學期望為
$E(Z)=E(g(X, Y))=\sum g\left(x_{i}, y_{j}\right) p_{i j}, i, j=1,2,3,4 \ldots$
連續型
設連續性隨機變量 $X$ 的概率密度函數為 $f(x)$ , 若積分絕對收斂，則稱積分的值 $\int_{-\infty}^{\infty} x f(x) d x$ 為隨機變量的數學期望, 記為 $\mathrm{E}(\mathrm{X})$。
$E(X)=\int_{-\infty}^{\infty} x f(x) d x$
若隨機變量 $X$ 的分布函數 $F(x)$ 可表示成一個非負可積函數 $f(x)$ 的積分，則稱 $X$ 為連續性隨機變量， $f(x)$ 稱為 $X$ 的概率密度函數 (分布密度函數)。數學期望 $ E(X)$ 完全由隨機變量 $X$ 的概率分布所確定。若 $X$ 服從某一分布, 也稱 $ E(X)$ 是這一分布的數學期望。
定理
若隨機變量 $Y$ 符合函數 $Y=g(x)$ ，且 $\int_{-\infty}^{\infty} g(x) f(x) d x$ 絕對收斂, 則有:
$E(Y)=E(g(X))=\int_{-\infty}^{\infty} g(x) f(x) d x$
該定理的意義在於: 我們求 $E(Y) $時不需要算出 $Y$ 的分布律或者概率分布, 只要利用 $X$ 的分布律或概率密度即可。
上述定理還可以推廣到兩個或以上隨機變量的函數情況。
連續型隨機變量函數的數學期望：
- 設隨機變量 $Y$ 是 $X$ 的函數, 即 $Y=g(X)$ , 則 $Y$ 的數學期望為
$E(Y)=E(g(X))=\int_{-\infty}^{+\infty} g(x) f(x) d x$
- 設隨機變量 $Z$ 是 $X$ 和 $Y$ 的函數, 即 $Z=g(X, Y)$ , 二維隨機變量 $(X, Y)$ 的概率密度是 $f(X, Y)$ , 則 $Z$ 的數學期望為
$E(Z)=E(g(X, Y))=\int_{-\infty}^{+\infty} \int_{-\infty}^{+\infty} g(x, y) f(x, y) d x d y$
性質
$E(C)=C$
$E(C X)=C E(X)$
$E(X+Y)=E(X)+E(Y)$
當 $X$ 和 $Y$ 相互獨立時, $ \quad E(X Y)=E(X) E(Y)$
3 方差
在統計描述中，方差用來計算每一個變量（觀察值）與總體均數之間的差異。為避免出現離均差總和為零，離均差平方和受樣本含量的影響，統計學采用平均離均差平方和來描述變量的變異程度。總體方差計算公式：
$\sigma^{2}=\frac{\sum(X-\mu)^{2}}{N}$
其中 $\sigma^{2}$ 為總體方差，$X$ 為變量，$\mu$ 為總體均值，$N$ 為總體例數。
在概率分布中，設 $X$ 是一個離散型隨機變量，若 $E \left((X-E(X))^{2}\right)$ 存在，則稱 $E(X-E(X))^{2} )$ 為 $X$ 的方差，記為 $D(X)$，$\operatorname{Var}(X) $ 或 $D X$，其中 $E(X) $是 $X$ 的期望值， $X$ 是變量值 ，公式中的 $E$ 是期望值 expected value 的縮寫，意為“隨機變量值與其期望值之差的平方和"的期望值。離散型隨機變量方差計算公式:
$D(X)=E\left((X-E(X))^{2}\right)=E\left(X^{2}\right)-E^{2}(X)$
當 $D(X)=E\left((X-E(X))^{2}\right)$ 稱為變量 $X$ 的方差，而 $\sigma=\sqrt{D(x)}$ 稱為標准差 (或均方差) 。 它與 $X$ 有相同的量綱。 標准差是用來衡量一組數據的離散程度的統計量。
對於連續型隨機變量 $ X$ , 若其定義域為 $ (a, b) $，概率密度函數為 $ f(x)$ ， 連續型隨機變量 $X $方差計算公式:
$D(X)=(x-\mu)^{2} f(x) d x$
方差刻畫了隨機變量的取值對於其數學期望的離散程度。 (標准差、方差越大, 離散程度越大)
若 $X$ 的取值比較集中，則方差 $ D(X)$ 較小，若 $X$ 的取值比較散，則方差 $ D(X)$ 較大。
因此， $ D(X) $ 是刻畫 $ X$ 取值分散程度的一個量，它是衡量取值分散程度的一個尺度。
4 協方差
協方差定義：在概率論和統計學中，協方差用於衡量兩個變量的總體誤差。而方差是協方差的一種特殊情況，即當兩個變量是相同的情況。
期望值分別為 $E[X]$ 與 $E[Y]$ 的兩個實隨機變量 $X$ 與 $Y$ 之間的協方差 $Cov(X,Y)$ 定義為：
$Cov(X,Y)=E[\ (X-E[X])(Y-E[Y])\ ]$
$\quad \quad \quad \quad \quad=E[XY]-2E[Y]E[X]+E[X]E[Y] $
$\quad \quad \quad \quad \quad=E[XY]-E[X]E[Y] $
其中$E[X]=\mu_x,E[Y]=\mu_y$，從直觀上來看，協方差表示的是兩個變量總體誤差的期望。
性質：
若兩個隨機變量 $X$ 和 $Y$ 相互獨立，則 $E[(X-E(X))(Y-E(Y))]=0$，因而若上述數學期望不為零，則 $X$ 和 $Y$ 必不是相互獨立的，亦即它們之間存在着一定的關系。
協方差與方差關系：
$D(X+Y)=D(X)+D(Y)+2Cov(X，Y) $
$D(X-Y)=D(X)+D(Y)-2Cov(X，Y) $
協方差與期望值關系：
$Cov(X，Y)=E(XY)-E(X)E(Y) $
協方差性質：
-
- $Cov(X，Y)=Cov(Y，X) $
- $Cov(aX，bY)=abCov(X，Y)，(a，b是常數)$
- $Cov(X_1+X_2，Y)=Cov(X_1，Y)+Cov(X_2，Y) $
- $Cov(X+a,Y+b)=Cov(X,Y) $
由協方差定義，可以看出 $Cov(X，X)=D(X)，Cov(Y，Y)=D(Y)$ 。
5 協方差矩陣
矩陣中的數據按行排列與按列排列求出的協方差矩陣是不同的，默認數據是按行排列。即每一行是一個observation(or sample)，那么每一列就是一個隨機變量。
$X_{m \times n}=\begin{bmatrix}a_{11} & a_{12} & ... & a_{1n} \\a_{21} & a_{22} & ... & a_{3n} \\... & ... & ... & ... \\a_{m1} & a_{m2} & ... & a_{nn}\end{bmatrix}=[c_1,c_2,...,c_n]$
協方差矩陣：
$covMatrix=\frac{1}{m-1} \begin{bmatrix}cov(c_{1},c_{1}) & cov(c_{1},c_{2}) & ... & cov(c_{1},c_{n}) \\cov(c_{2},c_{1}) & cov(c_{2},c_{2}) & ... & cov(c_{2},c_{n}) \\... & ... & ... & ... \\cov(c_{n},c_{1}) & cov(c_{n},c_{2}) & ... & cov(c_{n},c_{n})\end{bmatrix}$
協方差矩陣的維度等於隨機變量的個數，即每一個 observation 的維度。在某些場合前邊也會出現$\frac{1}{m}$，而不是 $\frac{1}{m-1}$ 。
求解協方差矩陣的步驟
例子：矩陣 $X$ 按行排列：
$X= \begin{bmatrix} 1 & 2 & 3\\ 3 & 1 &1 \end{bmatrix}$
求每個維度的平均值
$\bar{c}=\begin{bmatrix} 2 & 1.5 &2 \end{bmatrix}= \begin{bmatrix} \bar{c_1} & \bar{c_2} & \bar{c_3} \end{bmatrix}$
將 $X$ 的每一列減去平均值
$X=\begin{bmatrix} -1 & 0.5 & 1\\ 1 & -0.5 & -1 \end{bmatrix}$
其中：
$x_{ij}=x_{ij}-\bar{c_j}$
計算協方差矩陣
$covMatrix=\frac{1}{m-1}X^TX=\frac{1}{2-1}\begin{bmatrix} 2 & -1 & -2\\ -1 & 0.5 & 1\\ -2 & 1 & 2 \end{bmatrix}$
6 相關系數
協方差作為描述 $X$ 和 $Y$ 相關程度的量，在同一物理量綱之下有一定的作用，但同樣的兩個量采用不同的量綱使它們的協方差在數值上表現出很大的差異。為此引入 相關系數 概念：
定義：
$\rho _{xy}=\frac{Cov(X,Y)}{\sqrt{D(X)} \sqrt{D(Y)}} $
定義：若 $\rho _{xy}=0$，則稱 $X$ 與 $Y$ 不線性相關。即 $\rho _{xy}=0$ 的充分必要條件是 $Cov(X，Y)=0$ ，亦即不相關和協方差為零是等價的。
看完點個關注唄！！（總結不易）
$