常見的概率分布

統計學中最常見的幾種概率分布分別是正態分布（normal distribution），t分布（t distribution），F分布（F distribution）和卡方分布（χ2 distribution, chi-square distribution），其中后三種屬於抽樣分布。

 

為什么要研究概率分布呢？因為通過研究概率分布，我們可以找出數據的分布規律，並根據這些規律來解決特定條件下的問題。比如：假設隨機變量X服從某個已知的分布，我們就可以利用這個分布對X的取值是否顯著異於分布期望值進行檢驗。

 

下面來看一下這幾種概率分布的類型：

 

正態分布：又叫高斯分布（Gaussian distribution），是最為人們所熟知的分布類型

正態分布最為人們所熟知是因為在實際生活中我們經常可以看到正態分布的例子。比如男女身高，學習成績等都服從正態分布。也就是說身高和學習成績處於中游水平的人的數量最多，而身高特別高或特別矮以及成績特別好或特別差的人的數量很少（趨於0）。上圖的曲線看起來像一口鍾，因此正態分布曲線又被稱為鍾形曲線（bell curve）。

 

若隨機變量X服從一個期望為μ，方差為σ²的正態分布，那么記作X~N(μ，σ²)。正態分布的期望值μ決定了其位置，標准差σ決定了分布的幅度。正態分布的概率密度函數為。

 

如果數據服從正態分布，我們可以看到大約68%的數據分布在均值的第一個標准差范圍之內，95%分布在均值的兩個標准差范圍之內，99.7%分布在均值的三個標准差范圍之內，這就是經驗法則（empirical rule）。

 

我們可以通過計算隨機變量的z值（z score），得知其距離平均值有多少個標准差。z值的計算公式為：。（其中x是隨機變量的值，μ是總體均值，σ是總體標准差）

 

當μ=0，σ=1時，正態分布就成為標准正態分布，記作N（0，1)。通過把服從正態分布的原始數據轉變為z值，其z值分布就變為標准正態分布。

 

通過查找z值表（z-table），我們可以找到z值對應的概率，此概率是z值出現的累計概率（也就是小於等於此z值的概率）。通過轉換，我們還可以知道某z值落在某個區間內的概率是多少。

（如何使用z值表可參考：http://www.z-table.com/how-to-use-z-score-table.html）

 

這個應用非常有用，比如說，小明所在班級學生的某次語文成績服從正態分布，均值是85，標准差是10。如果小明考了90分，請問他的成績超過多少學生呢？

 

首先把小明的成績轉化成標准值：(90-85)/10=0.5，然后通過查找z值表或通過軟件計算P(z<=0.5)（scipy: norm.cdf(0.5)），就可以計算出小明的成績超過班上69%的學生。

 

還有一個應用就是：我們常常需要通過樣本統計量來對總體參數進行估計，比如說通過樣本均值來估算總體均值，這就需要進行抽樣。

根據中心極限定理，從總體中多次抽樣，每次抽取n>=30個樣本，只要抽樣次數足夠多，那么樣本平均數的抽樣分布就會趨近於正態分布，即~N(μ, )。

我們把這個公式轉換一下，變為，這樣計算出某樣本均值的z值，然后通過設置置信度（level of confidence），找出z值的分位數，就可以計算出總體均值的置信區間（區間估計）。

 

我們在實踐中為何總是選擇使用正態分布呢？正態分布在自然界中的頻繁出現只是原因之一，還有一個重要的原因是正態分布的最大熵性質。很多時候，我們並不知道數據的真實分布是什么，我們能從數據中獲取到的比較好的知識就是均值和方差，除此之外沒有其它更加有用的信息。因此按照最大熵原理，我們應該選擇在給定的知識的限制下熵最大的概率分布，而這恰好是正態分布。因此按照最大熵的原理，由於我們對真實分布一無所知，如果數據不能有效提供除了均值和方差之外的更多的知識，即便數據的真實分布不是正態分布，那這時候正態分布就是最佳的選擇。（此段摘自正態分布的前世今生）

 

正態分布的前世今生：

http://songshuhui.net/archives/76501

http://songshuhui.net/archives/77386

 

t分布：小樣本分布

在上面通過樣本統計量來對總體參數進行估計的例子中，我們經常會遇到一個問題，就是在實際應用中，總體的標准差σ往往是未知的，因此人們常用樣本標准差s作為σ的估計值。由於我們不僅需要估計總體均值，還需要估計總體標准差，因此這樣計算出來的z值不完全服從正態分布。

 

那么怎么辦呢？有個叫Gosset的人通過計算大量樣本均值和樣本均值標准差的比值，得到了這個比值的分布，叫做t分布。注意，這里假設總體服從正態分布。

 

我們按照計算z值的方式，把樣本平均數轉換成標准值，這個數值就叫做t統計量（t statistic），t統計量的分布服從t分布。t統計量的計算公式為：。（其中是隨機樣本均值，μ是總體均值，s是樣本標准差，n是樣本量）

 

t分布以0為中心，左右對稱，其形態變化與自由度ν（degrees of freedom）有關。自由度ν越小，t分布曲線越低平；自由度ν越大，t分布曲線越接近標准正態分布曲線。（自由度指在數據集中能自由變化的觀察值的數量，對於某個抽樣樣本來說，其自由度等於樣本中的觀察值數量減一，即v=n-1）

 

我們發現，當樣本量接近30時，t分布開始逐漸接近標准正態分布（中心極限定理）。因此，t分布被廣泛使用，因為其不管對於小樣本或者大樣本都是正確的，而正態分布只對大樣本正確。在實際使用中，我們通常都使用t檢驗，因為t分布雖然近似正態分布，但兩者仍然是不同的。t分布和正態分布的區別在於t分布的厚尾性。t分布能夠很好的消除異常值帶來的標准差波動。

通過自由度（v）和設置置信度（1-α），在t值表（t-table）上查找出對應的t值，然后可以計算出在這個置信度下（比如95%），總體均值的置信區間（區間估計）。

 

t分布的發現：

http://www.360doc.com/content/16/1101/21/36719146_603220801.shtml

https://blog.csdn.net/lengxiao1993/article/details/81985399

 

卡方分布：

 

假設O代表某個樣本中某個類別的觀察頻數，E代表基於零假設計算出的期望頻數，O與E之差稱為殘差。殘差可以表示某一個類別變量觀察值和期望值的偏離程度。但因為殘差有正有負，相加后會彼此抵消，因此不能將殘差簡單相加以表示觀察頻數與期望頻數的差別，為此可以將殘差進行平方然后求和。另一方面，殘差的大小是一個相對的概念。當期望頻數為10時，殘差為20顯得較大，但當期望頻數為1000時，20的殘差就很小了。考慮到這一點，人們又將殘差平方除以期望頻數。對於多個觀察值，只要將這些殘差平方相加，得到的數值就是χ²值（χ² statistic），χ²值服從卡方分布。χ²值的計算公式為：。

 

卡方分布的正式定義：若k個相互獨立的隨機變量服從標准正態分布N（0,1）（也稱獨立同分布於標准正態分布），則這k個服從標准正態分布的隨機變量的平方和構成一個新的隨機變量，其分布稱為卡方分布（chi-square distribution），自由度為k。

 

從卡方分布圖可以看出：卡方值都是正值，呈右偏態，隨着自由度k的增大，其分布趨近於正態分布。（卡方分布的極限就是正態分布）

 

卡方分布主要用於卡方檢驗。主要有兩種檢驗目的，一種是檢驗樣本中各個類別的觀察值與期望值是否有顯著的不同（goodness of fit），另一種是檢驗樣本中兩個類別之間是否相互獨立（independence）。

 

卡方檢驗的例子：

https://www.jianshu.com/p/807b2c2bfd9b

 

F分布：

 

t檢驗可以用來檢驗單個樣本的均值是否和總體一致，或者檢驗兩個總體的均值是否一致。那么如果我們需要檢驗兩個以上的總體均值是否一致該怎么辦呢？為此，Fisher創造出了方差分析（analysis of variance，ANOVA），通過分析多個樣本的方差來檢驗這幾個樣本的均值是否相同。

 

將多個樣本之間的方差（組間方差）除以樣本內部的方差（組內方差），得出的比率被稱為F值（F Ratio），F值服從F分布。F值的計算公式為：。（其中是總均值，，k是樣本數量，N是k個樣本的總觀察值的數量）

 

如果組間方差和組內方差相差不大，那么F值應該在1附近，說明這些樣本的均值是一致的；如果F值遠遠大於1，那么說明不是所有的樣本均值都是一致的。

 

F分布的正式定義：假設X、Y為兩個獨立的隨機變量，X服從自由度為n的卡方分布，Y服從自由度為m的卡方分布，這兩個獨立的卡方分布除以各自的自由度以后的比率服從F分布。

F分布是一種非對稱分布，它有兩個自由度，即n-1和m-1，相應的分布記為F(n–1，m-1)， n-1通常稱為分子自由度， m-1通常稱為分母自由度。不同的自由度決定了F分布的形狀。

 

泊松分布（Poisson Distribution）：用以描述在某個時間或空間范圍內，某事件發生x次的概率。

 

其概率質量函數為：

 

 

 

（上面就是泊松分布的公式。等號的左邊，P 表示概率，N表示某種函數關系，t 表示時間，n 表示數量，1小時內出生3個嬰兒的概率，就表示為 P(N(1) = 3) 。等號的右邊，λ 表示事件的頻率。）

 

 

泊松分布的期望：λ

泊松分布的方差：λ

 

最常見的泊松分布問題就是計算單位時間內經過某地的車輛數，或者單位時間內經過某地n輛車的概率。以公交車為例，假設我們知道它過去每個小時平均會5次經過其中一個站點（λ=5，t=1），那么它接下來一個小時經過該站點1次，4次，5次，10次的概率分別是多少？

• 當x=1時：P(1)=e⁻⁵5¹/1!≈0.034
  

• 當x=4時：P(4)=e⁻⁵5⁴/4!≈0.175
  

• 當x=5時：P(5)=e⁻⁵5⁵/5!≈0.175
  

• 當x=10時：P(10)=e⁻⁵5¹⁰/10!≈0.018

 

指數分布（Exponential Distribution）：用以描述泊松過程中隨機事件發生的時間間隔的概率。泊松過程即事件以恆定的平均速率連續且獨立地發生的過程。

 

例如：等公交車，兩輛車到來的時間間隔，就符合指數分布。

 

其概率密度函數是：F(x) = λe ^{− λx}（x≥0，λ>0）（λ是單位時間事件發生的次數，x是事件發生的時間間隔）

 

其累積分布函數是：F(x) = 1 − e ^{− λx}（x ≥ 0; λ > 0） --- 表示在某個時間間隔內事件發生的概率（如果要表示在某個時間間隔內事件未發生的概率，則用1-F(x)=e ^{− λx}）

 

指數分布的期望：1/λ

指數分布的方差：1/λ²

 

指數分布主要用於測試產品可靠性。例如：某電視機廠生產的電視機平均10年出現1次大故障，且故障發生的次數服從泊松分布。求該電視機使用15年后還沒有出現大故障的概率？

 

指數分布是無記憶性的。你等待的時間越長，事件發生的概率並不會發生改變。例如：某地發生了一次水災，那么該地區在接下來一周，或十年以后發生水災的概率是一樣的。

一句話總結：泊松分布是單位時間內獨立事件發生次數的概率分布，指數分布是獨立事件的時間間隔的概率分布。

請注意是"獨立事件"，泊松分布和指數分布的前提是，事件之間不能有關聯，否則就不能運用上面的公式。

原文鏈接：https://www.cnblogs.com/HuZihu/p/9442316.html