正態分布（Normal distribution）又名高斯分布（Gaussian distribution）

本文轉載自查看原文 2015-01-26 11:05 3569

正態分布（Normal distribution）又名高斯分布（Gaussian distribution），是一個在數學、物理及project等領域都很重要的概率分布，在統計學的很多方面有着重大的影響力。

若隨機變量 $X$ 服從一個數學期望為 $μ$ 、標准方差為 $σ 2$ 的高斯分布，記為：

X \sim N (μ,σ 2),

則其概率密度函數為

$f(x) = {1 \over \sigma\sqrt{2\pi} }\,e^{- {{(x-\mu )^2 \over 2\sigma^2}}}$

正態分布的期望值 $μ$ 決定了其位置，其標准差 $σ$ 決定了分布的幅度。因其曲線呈鍾形，因此人們又常常稱之為鍾形曲線。我們通常所說的標准正態分布是 $μ = 0,σ = 1$ 的正態分布（見右圖中綠色曲線）。

文件夾

[隱藏]

[編輯]概要

正態分布是自然科學與行為科學中的定量現象的一個方便模型。各種各樣的心理學測試分數和物理現象比方光子計數都被發現近似地服從正態分布。雖然這些現象的根本原因常常是未知的，理論上能夠證明假設把很多小作用加起來看做一個變量，那么這個變量服從正態分布(在R.N.Bracewell的Fourier transform and its application中能夠找到一種簡單的證明)。正態分布出如今很多區域統計:比如, 採樣分布均值是近似地正態的，既使被採樣的樣本整體並不服從正態分布。另外，常態分布信息熵在全部的已知均值及方差的分布中最大，這使得它作為一種均值以及方差已知的分布的自然選擇。正態分布是在統計以及很多統計測試中最廣泛應用的一類分布。在概率論，正態分布是幾種連續以及離散分布的極限分布。

[編輯]歷史

常態分布最早是亞伯拉罕·棣莫弗在1734年發表的一篇關於二項分布文章中提出的。拉普拉斯在1812年發表的《分析概率論》（Theorie Analytique des Probabilites）中對棣莫佛的結論作了擴展。如今這一結論通常被稱為棣莫佛－拉普拉斯定理。

拉普拉斯在誤差分析試驗中使用了正態分布。勒讓德於1805年引入最小二乘法這一重要方法；而高斯則宣稱他早在1794年就使用了該方法，並通過如果誤差服從正態分布給出了嚴格的證明。

“鍾形曲線”這個名字能夠追溯到Jouffret他在1872年首次提出這個術語"鍾形曲面"，用來指代二元正態分布（bivariate normal）。正態分布這個名字還被Charles S. Peirce、Francis Galton、Wilhelm Lexis在1875分布獨立的使用。這個術語是不幸的，由於它反應和鼓舞了一種謬誤，即非常多概率分布都是正態的。（請參考以下的“實例”）

這個分布被稱為“正態”或者“高斯”正好是Stigler名字由來法則的一個樣例，這個法則說“沒有科學發現是以它最初的發現者命名的”。

[編輯]正態分布的定義

有幾種不同的方法用來說明一個隨機變量。最直觀的方法是概率密度函數，這樣的方法可以表示隨機變量每一個取值有多大的可能性。累積分布函數是一種概率上更加清楚的方法，可是非專業人士看起來不直觀（請看下邊的樣例）。另一些其它的等價方法，比如cumulant、特征函數、動差生成函數以及cumulant-生成函數。這些方法中有一些對於理論工作很實用，可是不夠直觀。請參考關於概率分布的討論。

[編輯]概率密度函數

四個不同參數集的概率密度函數（綠色線代表標准正態分布）

正態分布的概率密度函數均值為 $μ$ 方差為 $σ 2$ (或標准差 $σ$ )是高斯函數的一個實例：

$f(x;\mu,\sigma)=\frac{1}{\sigma\sqrt{2\pi}} \, \exp \left( -\frac{(x- \mu)^2}{2\sigma^2} \right)$ 。

(請看指數函數以及 $π$ .)

假設一個隨機變量 $X$ 服從這個分布，我們寫作 $X$ ~ $N (μ,σ 2)$ . 假設 $μ = 0$ 而且 $σ = 1$ ，這個分布被稱為標准正態分布，這個分布可以簡化為

$f(x) = \frac{1}{\sqrt{2\pi}} \, \exp\left(-\frac{x^2}{2} \right)$ 。

右邊是給出了不同參數的正態分布的函數圖。

正態分布中一些值得注意的量：

密度函數關於平均值對稱
平均值是它的眾數（statistical mode）以及中位數（median）
函數曲線下68.268949%的面積在平均值左右的一個標准差范圍內
95.449974%的面積在平均值左右兩個標准差 $2σ$ 的范圍內
99.730020%的面積在平均值左右三個標准差 $3σ$ 的范圍內
99.993666%的面積在平均值左右四個標准差 $4σ$ 的范圍內
反曲點（inflection point）在離平均值的距離為標准差之處

[編輯]累積分布函數

上圖所看到的的概率密度函數的累積分布函數

累積分布函數是指隨機變量 $X$ 小於或等於 $x$ 的概率，用密度函數表示為

$F(x;\mu,\sigma)=\frac{1}{\sigma\sqrt{2\pi}}\int_{-\infty}^x \exp \left( -\frac{(x - \mu)^2}{2\sigma^2}\ \right)\, dx.$

正態分布的累積分布函數可以由一個叫做誤差函數的特殊函數表示：

$\Phi(z)=\frac12 \left[1 + \mathrm{erf}\,(\frac{z-\mu}{\sigma\sqrt2})\right] .$

標准正態分布的累積分布函數習慣上記為 $Φ$ ，它不過指 $μ = 0$ ， $σ = 1$ 時的值，

$\Phi(x)=F(x;0,1)=\frac{1}{\sqrt{2\pi}}\int_{-\infty}^x\exp\left(-\frac{x^2}{2}\right)\, dx.$

將一般正態分布用誤差函數表示的公式簡化，可得：

$\Phi(z)=\frac{1}{2} \left[ 1 + \operatorname{erf} \left( \frac{z}{\sqrt{2}} \right) \right].$

它的反函數被稱為反誤差函數，為：

$\Phi^{-1}(p)=\sqrt2\;\operatorname{erf}^{-1} \left(2p - 1 \right).$

該分位數函數有時也被稱為probit函數。probit函數已被證明沒有初等原函數。

正態分布的分布函數Φ(x)沒有解析表達式，它的值能夠通過數值積分、泰勒級數或者漸進序列近似得到。

[編輯]生成函數

[編輯]動差生成函數

動差生成函數被定義為 $exp(tX)$ 的期望值。

正態分布的矩生成函數例如以下：

$M_X(t)\,$	$=\mathrm{E}\left( e^{tX}\right)$
	$=\int_{-\infty}^{\infty} \frac {1} {\sigma \sqrt{2\pi} } e^{\left( -\frac{(x - \mu)^2}{2 \sigma^2} \right)} e^{tx}\, dx$
	$=e^{\left( \mu t + \frac{\sigma^2 t^2}{2}\right)}$

能夠通過在指數函數內配平方得到。

[編輯]特征函數

特征函數被定義為 $exp(itX)$ 的期望值，當中 $i$ 是虛數單位. 對於一個正態分布來講，特征函數是：

$\phi_X(t;\mu,\sigma)\!$	$=\mathrm{E}\left[ \exp(i t X)\right]$
	$=\int_{-\infty}^{\infty} \frac{1}{\sigma \sqrt{2\pi}} \exp \left(- \frac{(x - \mu)^2}{2\sigma^2} \right) \exp(i t x)\, dx$
	$=\exp\left( i \mu t - \frac{\sigma^2 t^2}{2}\right).$

把矩生成函數中的 $t$ 換成 $it$ 就能得到特征函數。

[編輯]性質

正態分布的一些性質:

假設 $X \sim N(\mu, \sigma^2) \,$ 且 $a$ 與 $b$ 是實數，那么 $aX + b \sim N (a μ + b,(a σ) 2)$ (參見期望值和方差).
假設與是統計獨立的正態隨機變量，那么:
- 它們的和也滿足正態分布 $U = X + Y \sim N(\mu_X + \mu_Y, \sigma^2_X + \sigma^2_Y)$ (proof).
- 它們的差也滿足正態分布 $V = X - Y \sim N(\mu_X - \mu_Y, \sigma^2_X + \sigma^2_Y)$ .
- $U$ 與 $V$ 兩者是相互獨立的。
假設和是獨立正態隨機變量，那么:
- 它們的積 $XY$ 服從概率密度函數為 $p$ 的分布
  
  $p(z) = \frac{1}{\pi\,\sigma_X\,\sigma_Y} \; K_0\left(\frac{|z|}{\sigma_X\,\sigma_Y}\right),$ 當中 $K 0$ 是貝塞爾函數（modified Bessel function）
- 它們的比符合柯西分布，滿足 $X / Y \simCauchy(0,σ X / σ Y)$ .
假設 $X_1, \cdots, X_n$ 為獨立標准正態隨機變量，那么 $X_1^2 + \cdots + X_n^2$ 服從自由度為n的卡方分布。

[編輯]標准化正態隨機變量

[編輯]矩(英文:moment)

一些正態分布的一階動差例如以下：

階數	原點矩	中心矩	累積量
0	1	0
1	$μ$	0	$μ$
2	$μ 2 + σ 2$	$σ 2$	$σ 2$
3	$μ 3 + 3μσ 2$	0	0
4	$μ 4 + 6μ 2 σ 2 + 3σ 4$	$3σ 4$	0

正態分布的全部二階以上的累積量為零。

[編輯]生成正態隨機變量

[編輯]中心極限定理

主條目：中心極限定理

正態分布的概率密度函數，參數為μ = 12，σ = 3，趨近於 n = 48、 p = 1/4的二項分布的概率質量函數。

正態分布有一個很重要的性質：在特定條件下，大量統計獨立的隨機變量的和的分布趨於正態分布，這就是中心極限定理。中心極限定理的重要意義在於，依據這一定理的結論，其它概率分布能夠用正態分布作為近似。

參數為 $n$ 和 $p$ 的二項分布，在 $n$ 相當大並且 $p$ 不接近1或者0時近似於正態分布（有的參考書建議僅在 $np$ 與 $n (1 - p)$ 至少為5時才干使用這一近似）。

近似正態分布平均數為 $μ = np$ 且方差為 $σ 2 = np (1 - p)$ .

一泊松分布帶有參數 $λ$ 當取樣樣本數非常大時將近似正態分布 $λ$ .

近似正態分布平均數為 $μ = λ$ 且方差為 $σ 2 = λ$ .

這些近似值是否全然充分正確取決於使用者的使用需求

[編輯]無限可分性

正態分布是無限可分的概率分布。

[編輯]穩定性

正態分布是嚴格穩定的概率分布。

[編輯]標准偏差

深藍色區域是距平均值小於一個標准差之內的數值范圍。在正態分布中，此范圍所占比率為所有數值之68%。依據正態分布，兩個標准差之內（藍，棕）的比率合起來為95%。依據正態分布，三個標准差之內（深藍，橙，黃）的比率合起來為99%。

在實際應用上，常考慮一組數據具有近似於正態分布的概率分布。若其如果正確，則約68%數值分布在距離平均值有1個標准差之內的范圍，約95%數值分布在距離平均值有2個標准差之內的范圍，以及約99.7%數值分布在距離平均值有3個標准差之內的范圍。稱為"68-95-99.7法則"或"經驗法則".

[編輯]正態測試

[編輯]相關分布

$R \simRayleigh(σ)$ 是瑞利分布，假設 $R = \sqrt{X^2 + Y^2}$ ，這里 $X \sim N (0,σ 2)$ 和 $Y \sim N (0,σ 2)$ 是兩個獨立正態分布。
$Y \sim \chi_{\nu}^2$ 是卡方分布具有 $ν$ 自由度，假設 $Y = \sum_{k=1}^{\nu} X_k^2$ 這里 $X k \sim N (0,1)$ 當中 $k=1,\dots,\nu$ 是獨立的。
$Y \simCauchy(μ = 0,θ = 1)$ 是柯西分布，假設 $Y = X 1 / X 2$ ，當中 $X 1 \sim N (0,1)$ 而且 $X 2 \sim N (0,1)$ 是兩個獨立的正態分布。
$Y \simLog-N(μ,σ 2)$ 是對數正態分布假設 $Y = e X$ 而且 $X \sim N (μ,σ 2)$ .
與Lévy skew alpha-stable分布相關：假設 $X\sim \textrm{Levy-S}\alpha\textrm{S}(2,\beta,\sigma/\sqrt{2},\mu)$ 因而 $X \sim N(\mu,\sigma^2)$ .

截斷正態分布.假設 $X \sim N(\mu, \sigma^2),\!$ ，在 $A$ 下面和 $B$ 以上截取X 將產生一個平均值 $E(X)=\mu + \frac{\sigma(\varphi_1-\varphi_2)}{T},\!$ 這里 $T=\Phi\left(\frac{B-\mu}{\sigma}\right)-\Phi\left(\frac{A-\mu}{\sigma}\right), \; \varphi_1 = \varphi\left(\frac{A-\mu}{\sigma}\right), \; \varphi_2 = \varphi\left(\frac{B-\mu}{\sigma}\right)$ ， $φ$ 是一個標准正態隨機變量的密度函數

假設 $X$ 是一個正態分布的隨機變量, $Y = | X |$ ，那么 $Y$ 具有折疊正態分布.

[編輯]參量預計

[編輯]參數的極大似然預計

[編輯]概念一般化

多元正態分布的協方差矩陣的預計的推導是比較難於理解的。它須要了解譜原理（spectral theorem）以及為什么把一個標量看做一個1×1 matrix的trace而不不過一個標量更合理的原因。請參考協方差矩陣的預計（estimation of covariance matrices）.

[編輯]參數的矩預計

[編輯]常見實例

[編輯]光子計數

[編輯]計量誤差

《飲料裝填量不足與超量的概率》

某飲料公司裝瓶流程嚴謹，每罐飲料裝填量符合平均600毫升，標准差3毫升的常態分配法則。隨機選取一罐，容量超過605毫升的概率？容量小於590毫升的概率

容量超過605毫升的概率 = p ( X > 605)= p ( ((X-μ) /σ) > ( (605 – 600) / 3) )= p ( Z > 5/3) = p( Z > 1.67) = 0.9525

容量小於590毫升的概率 = p (X < 590) = p ( ((X-μ) /σ) < ( (590 – 600) / 3) )= p ( Z < -10/3) = p( Z < -3.33) = 0.0004

《6-標准差(6-sigma或6-σ)的品質管制標准》

6-標准差(6-sigma或6-σ)，是制造業流行的品質管制標准。在這個標准之下，一個標准常態分配的變量值出如今正負三個標准差之外，僅僅有2* 0.0013= 0.0026 (p (Z < -3) = 0.0013以及p(Z > 3) = 0.0013)。也就是說，這樣的品質管制標准的產品不良率僅僅有萬分之二十六。如果例3-16的飲料公司裝瓶流程採用這個標准，而每罐飲料裝填量符合平均600毫升，標准差3毫升的常態分配法則。預期裝填容量的范圍應該多少？ 6-標准差的范圍 = p ( -3 < Z < 3)= p ( - 3 < (X-μ) /σ < 3) = p ( -3 < (X- 600) / 3 < 3)= p ( -9 < X – 600 < 9) = p (591 < X < 609) 因此，預期裝填容量應該介於591至609毫升之間。

[編輯]生物標本的物理特性

[編輯]金融變量

[編輯]壽命

[編輯]測試和智力分布

《計算學生智商高低的概率》

如果某校入學新生的智力測驗平均分數與方差分別為100與12。那么隨機抽取50個學生，他們智力測驗平均分數大於105的概率？小於90的概率？

本例沒有常態分配的如果，還好中心極限定理提供一個可行解，那就是當隨機樣本長度超過30，樣本平均數xbar近似於一個常態變量，因此標准常態變量Z = (xbar –μ) /σ/ √n。

平均分數大於105的概率 = p(Z> (105 – 100) / (12 /√50))= p(Z> 5/1.7) = p( Z > 2.94) = 0.0016

平均分數小於90的概率 = p(Z< (90 – 100) / (12 /√50))= p(Z < 5.88) = 0.0000

[編輯]計算統計應用

[編輯]生成正態分布隨機變量

在計算機模擬中，常常須要生成正態分布的數值。最主要的一個方法是使用標准的正態累積分布函數的反函數。除此之外還有其它更加高效的方法，Box-Muller變換就是當中之中的一個。還有一個更加快捷的方法是ziggurat算法。以下將介紹這兩種方法。一個簡單可行的而且easy編程的方法是：求12個在（0,1）上均勻分布的和，然后減6(12的一半)。這樣的方法能夠用在非常多應用中。這12個數的和是Irwin-Hall分布；選擇一個方差12。這個隨即推導的結果限制在（-6,6）之間，而且密度為12，是用11次多項式預計正態分布。

Box-Muller方法是以兩組獨立的隨機數U和V，這兩組數在(0,1]上均勻分布，用U和V生成兩組獨立的標准正態分布隨即變量X和Y:

$X = \sqrt{- 2 \ln U} \, \cos(2 \pi V) ,$

$Y = \sqrt{- 2 \ln U} \, \sin(2 \pi V)$ 。

這個方程的提出是由於二自由度的卡方分布（見性質4）非常easy由指數隨機變量（方程中的lnU）生成。因而通過隨機變量V能夠選擇一個均勻圍繞圓圈的角度，用指數分布選擇半徑然后變換成（正態分布的）x,y坐標。

免責聲明！

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 正態分布（Normal distribution）又名高斯分布（Gaussian distribution）正態分布（Normal distribution）也稱“常態分布”，又名高斯分布多元高斯分布(Multivariate Gaussian Distribution) 多元高斯分布（The Multivariate normal distribution）一起啃PRML - 1.2.4 The Gaussian distribution 高斯分布正態分布 C++生成隨機數：高斯/正態分布（gaussian/normal distribution）【翻譯】擬合與高斯分布 [Curve fitting and the Gaussian distribution] Log-normal distribution對數正態分布截斷正態分布（Truncated normal distribution）截斷正態分布（Truncated normal distribution）