多元高斯分布

本文转载自查看原文 2019-08-23 21:46 430 机器人学

让我们回到小球检测的栗子，在一元高斯分布下，我们只使用了色相值这一个性质。然而，颜色其实是用多个维度来定义的。比如，在HSV模型下，除了色相值还有饱和度（Saturation）和亮度（Value）。而我们通常使用的三原色光模式（RGB模型）将颜色表示成红色（R）、绿色（G）和蓝色（B）的叠加。如果我们用RGB值来表示一个颜色，怎样表示我们栗子中的小球呢？我们将图片中所有像素点的RGB值用散点图的形式画出来可以得到下面的图：

那我们怎样对这种图形进行建模呢？如这一节的题目所说，我们将一元高斯分布扩展到多元高斯分布并对RGB值进行建模。
让我们首先来介绍多元高斯分布的数学形式吧：

$p(\boldsymbol{x}) = \frac{1}{(2\pi)^{D/2}|\Sigma|^{1/2}}\exp\{-\frac{1}{2}(\boldsymbol{x}-\boldsymbol\mu)^T\Sigma^{-1}(\boldsymbol{x}-\boldsymbol\mu)\}$

多元高斯分布和一元高斯分布是十分相似的，我们用加粗的 $\boldsymbol{x}$ 来表示变量（一个向量）， $D$ 表示维度（元的数目），加粗的 $\boldsymbol\mu$ 表示平均向量，大写的 $\Sigma$ 表示协方差矩阵（Covariance Matrix，是一个方阵）， $|\Sigma|$ 表示 $\Sigma$ 的行列式值， $(\boldsymbol{x}-\boldsymbol\mu)^T$ 表示矩阵 $(\boldsymbol{x}-\boldsymbol\mu)$ 的转置。

值得一提的是协方差矩阵，它由两部分组成，方差（Variance）和相关性（Correlation），对角线上的值表示方差，非对角线上的值表示维度之间的相关性。拿一个二维协方差矩阵作栗子：

其中，对角线上的 $\sigma^2_{x_1}$ 和 $\sigma^2_{x_2}$ 分别表示变量 $x_1$ 和 $x_2$ 的独立方差，非对角线上的 $\sigma_{x_1}\sigma_{x_2}$ 表示两个变量之间的相关性（注意 $\sigma_{x_1}\sigma_{x_2}$ 和 $\sigma_{x_2}\sigma_{x_1}$ 是相等的）。

回到小球检测的栗子，我们考虑用RGB来对“红色”小球进行多元高斯分布的建模，那么各个参数就如下图所示了：

我们来看一下标准二元高斯分布图：

2、求解多元高斯分布：最大似然估计

和求解一元高斯分布类似，我们将问题描述为：给定观测值 $\{\boldsymbol{x_i}\}$ ，求 $\boldsymbol\mu$ 和 $\Sigma$ ，使得似然函数最大：

$\hat{\boldsymbol\mu}, \hat{\Sigma}=\text{arg}\ \underset{\boldsymbol\mu,\Sigma}{\max}\ {p(\{\boldsymbol{x_i}\}|\boldsymbol\mu,\Sigma)}$

同样，假设观测值两两相互独立，根据独立概率公式，我们有：

$\hat{\boldsymbol\mu}, \hat{\Sigma}=\text{arg}\ \underset{\boldsymbol\mu,\Sigma}{\max}\ {\prod_{i=1}^N p(\boldsymbol{x_i}|\boldsymbol\mu,\Sigma)}$

同样（1）取对数，（2）将多元高斯分布的形式带入，我们有：

$\begin{align} \hat{\boldsymbol\mu}, \hat{\Sigma} &= \text{arg}\ \underset{\boldsymbol\mu,\Sigma}{\max}\ \ln \prod_{i=1}^N p(\boldsymbol{x_i}|\boldsymbol\mu,\Sigma)\\ &= \text{arg}\ \underset{\boldsymbol\mu,\Sigma}{\max}\ \sum_{i=1}^N \ln p(\boldsymbol{x_i} | \boldsymbol\mu, \Sigma) \\ &= \text{arg}\ \underset{\boldsymbol\mu,\Sigma}{\max}\ \sum_{i=1}^N ( -\frac{1}{2}(\boldsymbol{x_i}-\boldsymbol\mu)^T\Sigma^{-1}(\boldsymbol{x_i}-\boldsymbol\mu) - \frac{1}{2}\ln |\Sigma| - \frac{D}{2}\ln (2\pi) ) \\ &= \text{arg}\ \underset{\boldsymbol\mu,\Sigma}{\min}\ \sum_{i=1}^N ( \frac{1}{2}(\boldsymbol{x_i}-\boldsymbol\mu)^T\Sigma^{-1}(\boldsymbol{x_i}-\boldsymbol\mu) + \frac{1}{2}\ln |\Sigma| ) \end{align}$

我们给目标函数做个记号，令

$J(\boldsymbol\mu, \Sigma) = \sum_{i=1}^N ( \frac{1}{2}(\boldsymbol{x_i}-\boldsymbol\mu)^T\Sigma^{-1}(\boldsymbol{x_i}-\boldsymbol\mu) + \frac{1}{2}\ln |\Sigma| )$

我们仍然分别对 $\boldsymbol\mu$ 和 $\Sigma$ 求偏导来计算 $\hat{\boldsymbol\mu}$ 和 $\hat{\Sigma}$ 。（这里需要矩阵求导的知识，可以参考Matrix Calculus Manual）

$\begin{align} \frac{\partial J}{\partial \boldsymbol\mu} &= \frac{\partial}{\partial\boldsymbol\mu}\sum_{i=1}^N(\frac{1}{2}(\boldsymbol{x_i}-\boldsymbol\mu)^T\Sigma^{-1}(\boldsymbol{x_i}-\boldsymbol\mu)+\frac{1}{2}|\Sigma|) \\&= \frac{\partial}{\partial\boldsymbol\mu}\frac{1}{2}\sum_{i=1}^N(\boldsymbol{x_i}^T\Sigma^{-1}\boldsymbol{x_i}-\boldsymbol{x_i}^T\Sigma^{-1}\boldsymbol\mu-\boldsymbol\mu^T\Sigma^{-1}\boldsymbol{x_i}+\boldsymbol\mu^T\Sigma^{-1}\boldsymbol\mu) \\&= \frac{\partial}{\partial\mu}\sum_{i=1}^N(\frac{1}{2}\boldsymbol\mu^T\Sigma^{-1}\boldsymbol\mu-\boldsymbol\mu\Sigma^{-1}\boldsymbol{x_i}) \\&= \Sigma^{-1}\sum_{i=1}^N(\boldsymbol\mu-\boldsymbol{x_i}) \\&= \boldsymbol{0} \end{align}$ $\begin{align} \frac{\partial J}{\partial\Sigma} &=\frac{\partial}{\partial\Sigma}\sum_{i=1}^N(\frac{1}{2}(\boldsymbol{x_i}-\hat{\boldsymbol\mu})^T\Sigma^{-1}(\boldsymbol{x_i}-\hat{\boldsymbol\mu})+\frac{1}{2}\ln|\Sigma|) \\&= \frac{1}{2}\sum_{i=1}^N(-\Sigma^{-1}(\boldsymbol{x_i}-\hat{\boldsymbol\mu})(\boldsymbol{x_i}-\hat{\boldsymbol\mu})^T\Sigma^{-1}+\Sigma^{-1}) \\&= \frac{1}{2}\Sigma^{-1}(-(\sum_{i=1}^N(\boldsymbol{x_i}-\hat{\boldsymbol\mu})(\boldsymbol{x_i}-\hat{\boldsymbol\mu})^T)\Sigma^{-1}+N\boldsymbol{I}) \\&= \boldsymbol{0} \end{align}$

求得，

$\hat{\boldsymbol\mu}=\frac{1}{N}\sum_{i=1}^N\boldsymbol{x_i}$

$\hat\Sigma=\frac{1}{N}\sum_{i=1}^N(\boldsymbol{x_i}-\hat{\boldsymbol\mu})(\boldsymbol{x_i}-\hat{\boldsymbol\mu})^T$

免责声明！

本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。

猜您在找 异常检测: 多元高斯分布多元高斯分布（The Multivariate normal distribution）多元高斯分布完全解析多元高斯分布(Multivariate Gaussian Distribution) 高斯分布、多维高斯分布、各向同性的高斯分布及多元高斯分布之间的KL散度异常检测: 应用多元高斯分布进行异常检测多元高斯分布的均值与协方差矩阵【摘录】多元高斯分布的KL散度离散高斯分布多维高斯分布