在應用中，經常會碰到需要對某個矩陣的行列式進行求導的情況。而行列式的計算方法比較復雜，如果將它展開成后計算，會比較麻煩，因此最好直接記住一些結論。 本文以計算\(\dfrac{\partial |A ...

本文總結多元正態分布的條件分布與邊緣分布，證明不難，但都比較繁瑣，故不做詳細證明，有興趣可以參考Pattern Recognition and Machine Learningy一書。 1 正態分布 ...

Jensen不等式的形式有很多種，這里重點關注有關於隨機變量期望的形式。 1 Jensen不等式 Jensen不等式：已知函數\(\phi: \mathbb{R}\to\mathbb{R}\)為凸 ...

1 定義 依分布收斂的定義是這樣的：隨機變量序列\(\{X_n\}_{n=1}^{\infty}\)，若它們的累積分布函數cdf序列\(\{F_1\}_{n=1}^{\infty}\)，與某個隨機變 ...

在有些時候，直接計算隨機變量的方差非常麻煩，此時可以用方差分解公式，將方差分解為條件期望的方差加條件方差的期望： \[\text{Var}(X)=\text{Var}[\text{E}(X|Y ...

LASSO非常實用，但由於它的懲罰項不可以常規地進行求導，使得很多人以為它無法顯式地求出解析解。但其實並不是這樣的。 1 單變量情形：軟閾值法 1.1 軟閾值的分類討論 將\(N\)個樣本的真實 ...

1 幾乎必然收斂的概念 幾乎必然收斂（almost sure convergence），又叫以概率1收斂（convergence with probability 1），定義為：隨機變量序列\(\{ ...

1 概念 如果我們想知道某個隨機變量\(X\)的分布\(F\)，這在一般情況下當然是無法准確知道的，但如果我們手上有它的一些獨立同分布的樣本，可不可以利用這些樣本？一個很簡單的辦法就是，把這些樣本的 ...

在求獨立的隨機變量之和的分布時，可用矩母函數法。 1 矩母函數法 定理 已知\(X_1,\ldots,X_n\)為獨立的隨機變量，各種的矩母函數為\(M_1,\ldots,M_n\)，\(a_1, ...

1 為何需要標准化 有的數據，不同維度的數量級差別較大，導致有的維度會主導整個分析過程。如下圖所示： 該圖的數據維度\(d=30\)，樣本量\(n=40\)，上面的圖是對原始數據做PCA后，第 ...