在应用中，经常会碰到需要对某个矩阵的行列式进行求导的情况。而行列式的计算方法比较复杂，如果将它展开成后计算，会比较麻烦，因此最好直接记住一些结论。 本文以计算\(\dfrac{\partial |A ...

本文总结多元正态分布的条件分布与边缘分布，证明不难，但都比较繁琐，故不做详细证明，有兴趣可以参考Pattern Recognition and Machine Learningy一书。 1 正态分布 ...

Jensen不等式的形式有很多种，这里重点关注有关于随机变量期望的形式。 1 Jensen不等式 Jensen不等式：已知函数\(\phi: \mathbb{R}\to\mathbb{R}\)为凸 ...

1 定义 依分布收敛的定义是这样的：随机变量序列\(\{X_n\}_{n=1}^{\infty}\)，若它们的累积分布函数cdf序列\(\{F_1\}_{n=1}^{\infty}\)，与某个随机变 ...

在有些时候，直接计算随机变量的方差非常麻烦，此时可以用方差分解公式，将方差分解为条件期望的方差加条件方差的期望： \[\text{Var}(X)=\text{Var}[\text{E}(X|Y ...

LASSO非常实用，但由于它的惩罚项不可以常规地进行求导，使得很多人以为它无法显式地求出解析解。但其实并不是这样的。 1 单变量情形：软阈值法 1.1 软阈值的分类讨论 将\(N\)个样本的真实 ...

1 几乎必然收敛的概念 几乎必然收敛（almost sure convergence），又叫以概率1收敛（convergence with probability 1），定义为：随机变量序列\(\{ ...

1 概念 如果我们想知道某个随机变量\(X\)的分布\(F\)，这在一般情况下当然是无法准确知道的，但如果我们手上有它的一些独立同分布的样本，可不可以利用这些样本？一个很简单的办法就是，把这些样本的 ...

在求独立的随机变量之和的分布时，可用矩母函数法。 1 矩母函数法 定理 已知\(X_1,\ldots,X_n\)为独立的随机变量，各种的矩母函数为\(M_1,\ldots,M_n\)，\(a_1, ...

1 为何需要标准化 有的数据，不同维度的数量级差别较大，导致有的维度会主导整个分析过程。如下图所示： 该图的数据维度\(d=30\)，样本量\(n=40\)，上面的图是对原始数据做PCA后，第 ...