高斯分布
對於單維高斯分布而言，其概率密度函數可以表示成
\[p(x)=\frac{1}{\sqrt{2 \pi}\sigma}e^{-\frac{(x-u)^2}{2\sigma^2}} \]
其中\(u\)表示均值，\(\sigma^2\)表示方差。
對於多維高斯分布而言，其概率密度函數可以表示成
\[p(x)=\frac{1}{(2\pi)^{p/2}\lvert \Sigma\rvert^{1/2}}e^{-\frac{1}{2}(x-u)^T\Sigma^{-1}(x-u)} \]
其中p表示維度，首先介紹如何根據極大似然估計求解高斯分布中的參數\(\lambda=(u,\sigma^2)\)。這里以一維高斯分布為例。
首先定義似然函數
\[\ell (\lambda)=logP(x|\lambda)=log\Pi_{i=1}^{N}p(x_{i}\lvert\lambda)=\sum_{n=1}^{N}log p(x_i\lvert\lambda)\\=\sum_{n=1}^{N}(log(\frac{1}{\sqrt{2\pi}})+log{\frac{1}{\sigma}}-\frac{(x_i-u)^2}{2\sigma^2}) \]
讓\(\ell(\lambda)\)分別對\(u\)和\(\sigma\)求偏導數，然后令其等於0，可以得到
\[\frac{\partial \ell(\lambda)}{\partial u}=\sum_{n=1}^{N}(-\frac{1}{2\sigma^2}*2*(x_i-u)*(-1))=0 \]
可以得到\(u\)的值為
\[u=\frac{1}{N}\sum_{n=1}^{N}x_{i} \]
同樣的，可以得到\(\ell(\lambda)\)對\(\sigma\)的偏導數為
\[\frac{\partial{\ell(\lambda)}}{\partial{\sigma}}=\sum_{i=1}^{N}(-\frac{1}{\sigma}-(x_i-u)^2*\frac{1}{2}*(-2)*(\sigma)^3)=0 \]
可以得到\(\sigma^2\)的值為
\[\sigma^2=\frac{1}{N}\sum_{n=1}^{N}(x_i-u)^2 \]
至此已經完成了單維高斯分布中的參數估計。