本文內容取自《概率論與數理統計 浙江大學 第四版》
目錄 7
第一章 概率論的基本概念 11
確定性現象
隨機現象:在大量重復試驗中其結果又具有統計規律性的現象
1. 隨機試驗 11
2. 樣本空間、隨機事件 12
隨機試驗E,E的所有可能結果組成的集合稱為E的樣本空間,記為S,樣本空間的每個元素,即E的每個結果,稱為樣本點
稱試驗E的樣本空間S的子集為E 的隨機事件,簡稱事件,在每次試驗中,當且僅當這一子集中的一個樣本點出現時,稱這一事件發生。
基本事件:由一個樣本點組成的單點集。還有必然事件、不可能事件
事件之間的運算:事件A,B,C
3. 頻率與概率 15
相同條件下,進行了n次試驗,在這n次試驗中,事件A發生的次數nA稱為事件A發生的頻數,比值nA/n稱為事件A發生的頻率,記作
概率:設E是隨機試驗,S是它的樣本空間,對於E的每一事件A賦予一個實數,記作P(A),稱為事件A的概率。
由概率的定義,推得概率的一些重要性質。
性質i:1
性質ii:有限可加性,若A1,A2..... An是不互相容的事件,則
性質iii:設A,B是兩個事件,若,則
性質iv:對於任一事件A,P(A) <= 1
性質v:逆事件的概率,
性質vi:加法公式,對於任意事件A,B 有
4. 等可能概型(古典概型) 19
等可能概型的兩個特點:第一:試驗的樣本空間只包含有限個元素;第二:試驗中每個基本事件發生的可能性相同。
樣本空間 S = {e1, e2, e3, ..., en},則P({e1}) = P({e2}) = ... = P({en})
若事件A包含k個基本事件,即則有:
這就是等可能概型中事件A的概率計算公式(4.1)
超幾何分布的概率公式(4.2)
5. 條件概率 24
(一)條件概率 24
條件概率,是事件A已發生的條件下事件B發生的概率,記為P(B|A)
定義,設A,B是兩個事件,且P(A) > 0 ,稱 是在事件A發生的條件下事件B發生的條件概率
條件概率符合概率定義中的三個條件:A
非負性:對於每一事件B,有P(B|A)>=0
規范性:對於必然事件S,有P(S|A)=1
可列可加性:
(二)乘法定理 26
乘法定理:設P(A)>0,則有
推廣:
(三)全概率公式和貝葉斯公式 27 有先驗概率,后驗概率
全概率公式:設試驗E的樣本空間為S,A為E的事件,B1,B2,B3,....Bn 為S的一個划分,且P(Bi) >0,則有:
在很多實際問題中P(A)是不易求得,但卻容易找到S的一個划分B1,B2,..Bn,且P(Bi)和P(A|Bi)或為已知,那么可以根據全概率公式求得P(A)
貝葉斯公式:設試驗E的樣本空間為S,A為E的事件,B1,B2,B3,....Bn 為S的一個划分,且P(A)>0,P(Bi)>0,則:
由條件概率的定義及全概率公式即可得到:
當n=2時,並將B1記為B,B2記為,那么
全概率公式:
貝葉斯公式:
6.獨立性 31
設A,B是試驗E的兩事件,若P(A)>0,可以定義P(B|A),一般,A的發生對B發生的概率是有影響的,這時,只有在這種影響不存在時才會有P(B|A)=P(B),
這時有 P(AB) = P(B|A)P(A) = P(A)P(B)
定義,設A,B是兩事件,如果滿足等式 P(AB) = P(A) P(B),則稱事件A,B相互獨立,簡稱A,B獨立
定理一,定理二,A,B,C相互獨立(略)
第二章 隨機變量及其分布 40
1.隨機變量
對於樣本空間 S={e}中的每一個樣本點e,X都有一個數與之對應,X是定義在樣本空間S上的一個實值單值函數,它的定義域是樣本空間S,值域是實數集合{0,1,2,3} ,使用函數記號可以將X寫成
隨機變量的定義:設隨機試驗的樣本空間為S = {e},X = X(e)是定義在樣本空間S上的實值單值函數,稱X=X(e)為隨機變量。
本書中,我們 一般以大寫的字母,X,Y,Z。。。表示隨機變量,而以小寫字母x,y,z。。。表示實數。
2.離散隨機變量及其分布 42
有些隨機變量,它全部可能的取值是有限個,可枚舉的,這種叫離散型隨機變量。
三種重要的離散型隨機變量
(一)(0-1)分布
設隨機變量X只有兩個值 0和1,它的分布律是 ,則稱X服從以p為參數的(0-1)分布或兩點分布。
0-1 分布的分布律也可寫成
應用:性別、是否合格、拋硬幣
(二)伯努利試驗、二項分布 43
設試驗E只有兩個可能結果:,則稱E為伯努利試驗。n重伯努利試驗
(三)泊松分布 47
應用:某地區在一天內郵遞遺失的信件數,某一醫院在一天內的急診病人數,某地區在一個時間間隔內發生的交通事故的次數
3. 隨機變量的分布函數 48
對於非離散型隨機變量X,由於其可能的值不能一一列舉出來,因此就不能像離散型隨機變量那樣可以用分布律來描述它,我理解是用分布函數來描述它。
定義,設X是一個隨機變量,x是任意實數,函數稱為X的分布函數。
對於任意實數x1,x2 (x1<x2),有
因此,若已知X的分布函數,我們就知道X落在任一區間(x1, x2]上的概率,從這個意義上說,分布函數完整地描述了隨機變量的統計規律性。
分布函數是一個普通的函數,正是通過它,我們將能用數學分析的的方法來研究隨機變量。
如果將X看成數軸上的隨機點的坐標,那么,分布函數F(x)在x處的函數值就表示X落在區間(-無窮,x]上的概率。
4. 連續型隨機變量及其概率密度 52
如果對於隨機變量X的分布函數F(x),存在非負函數f(x),使對於任意實數x,有:,則稱X為連續型隨機變量,其中函數f(x)稱為X的隨機密度函數,簡稱密度函數。
據數學分析的知識,連續型隨機變量的分布函數是連續的。在實際應用中遇到的基本上是離線型的或者連續型的隨機變量,本書只討論這兩種情況。
由定義可知,概率密度f(x)具有以下性質:
由第2點可知,曲線 y = f(x) 與Ox軸之間的面積等於1,
由第3點可知,X落在區間(x1, x2]的概率P{x1 < X <=x2}等於區間(x1, x2]上曲線y=f(x)之下的曲邊梯形的面積
由第4點可知,f(x)的連續點x處有
從這里我們看到概率密度的定義與物理學中的線密度的定義相類似,這就是為什么稱f(x)為概率密度的緣故。
注意:F(x)是X的分布函數,f(x)是X的概率密度
以后當我們提到一個隨機變量X的“概率分布”時,指的是它的分布函數;或者,當X是連續型隨機變量時,指的是它的概率密度,當X時離散型隨機變量時,指的是它的分布律
下面介紹三種重要的連續型隨機變量:
(一)均勻分布 54
若連續型隨機變量X具有概率密度(4.6),則稱X在區間(a,b)上服從均勻分布,記為X~U(a,b)
f(x) >=0, 且
在區間(a,b)上服從均勻分布的隨機變量X,具有下述意義的等可能性,即它落在區間(a,b)中任意等長度的子區間內的可能性是相同的,或者說它落在(a,b)的子區間內的概率只依賴於子區間的長度,而與子區間的位置無關。
例2:設電阻值R是一個隨機變量,均勻分布在900歐~1100歐,求R的概率密度及R落在950歐~1050歐的概率
(二)指數分布 55
若連續型隨機變量X的概率密度為(4.7),其中 θ>0 為常數,則稱X服從參數θ的指數分布。
易知 由(4.7)式容易得到隨機變量X的分布函數為
(取了個積分而已)
服從指數分布的隨機變量X具有以下有趣的性質:對於任意s,t > 0 有 (4.9)
性質4.9稱為無記憶性,如果X是某一元件的壽命,那么(4.9)式表明:已知元件使用了s小時,它總共能使用至少s+t小時的條件概率,與從開始使用時算起它至少能使用t小時的概率相等。這就是說,元件對它已使用過s小時沒有記憶,具有這一性質是指數分布有廣泛應用的重要原因。
指數分布在可靠性理論和排隊論中有廣泛的應用。
(三)正態分布 56
若連續型隨機變量X的概率密度為(4.10)其中
為常數,則稱X服從參數為
的正態分布或高斯Gauss分布,記作
證明得到
它具有以下的性質:
(1) 曲線關於 x=u 對稱,這表明對於任意h>0,有
(2) 當x=u 時取到最大值
x離u越遠,f(x)的值越小,這表明對於同樣長度的區間,當區間離u越遠,X落在這個區間上的概率越小。
在 處曲線有拐點,曲線以Ox軸為漸近線。
另外,
如果固定σ,改變μ 的值,則圖形沿着Ox軸平移,而不改變其形狀,可見正態分布的概率密度曲線y=f(x)的位置完全由參數μ 所確定,μ 稱為位置參數。
如果固定μ,改變σ 的值,由於最大值,可知當σ 越小時圖形變得越尖,因而X落在μ附近的概率越大。
由(4.10)式得X的分布函數為 (4.12)
特別,當μ=0,σ=1時稱隨機變量X服從標准正態分布,其概率密度和分布函數分別用 φ(x) 和 Φ(x)表示,則有:
(4.13)
(4.14)
F(x) 的圖形:
f(x) 的圖形:
一般,若X~N(μ,σ2),我們只要通過一個線性變換就能將它化成標准正態分布。
3σ法則:盡管正態變量的取值范圍是(-∞, +∞),但它的值落在 (μ-3σ,μ+3σ)內幾乎是肯定的事,這就是人們所說的“3σ”法則
分位點,略
應用:在自然現象和社會現象中,大量隨機變量都服從或近似服從正太分布,例如,一個地區的男性成年人的身高,測量某零件長度的誤差,海洋波浪的高度,半導體器件中的熱噪聲電流或電壓等,都服從正態分布。
在概率論和數理統計的理論研究和實際應用中正態隨機變量起着特別重要的作用。
5. 隨機變量的函數的分布 60
就是由X組成的函數的分布,比如:X是隨機變量,Y=X-1,這個函數的分布。如果X是離散型的,Y也是離散的,用分布律;如果X是連續的,Y也是連續的,用密度函數。
第三章 多維隨機變量及其分布 70
二維隨機變量
離散型隨機變量:求分布律,連續型隨機變量:求概率密度
二維離散型隨機變量的聯合分布:F(x,y)
二維離散型隨機變量的邊緣分布:Fx(y), Fy(x)
二維離散型隨機變量的條件分布:兩者之間的關系
二維連續型隨機變量的聯合概率密度
性質:非負性、歸一性(概率和為1)、求概率、分布函數與概率密度函數之間的關系
二維連續型隨機變量的邊緣分布:
第四章 隨機變量的數字特征 100
上一章介紹了隨機變量的分布函數、概率密度和分布律,它們都能完整地描述隨機變量,但在某些實際或理論問題中,人們感興趣於某些能描述隨機變量某一特征的常數,例如,一籃球隊上場比賽的運動員的身高是一個隨機變量,人們常關心上場運動員的平均身高。
一個城市一戶家庭擁有汽車的數量是一個隨機變量,在考察城市的交通情況時,人們關心戶均用戶汽車的輛數。
評價棉花的質量時,既需要注意纖維的平均長度,又需要注意纖維長度與平均長度的偏離程度,平均長度較大,偏離程度較小,質量就較好。
這種由隨機變量的分布所確定的,能刻畫隨機變量某一方面的特征的的常數稱為數字特征,它在理論和實際應用中都很重要,本章將介紹幾個重要的數字特征:數學期望、方差、相關系數和矩。
1. 數學期望
設離散型隨機變量X的分布律為
若級數絕對收斂,則稱級數
的和 為隨機變量X的數學期望,記為E(X),即E(X) =
設連續型隨機變量X的概率密度為f(x)
若積分絕對收斂,則稱積分
的值為隨機變量X的數學期望,記為E(X),即E(X) =
數學期望簡稱期望,又稱均值
數學期望E(X)完全由隨機變量X的概率分布所確定,若X服從某一分布,也稱E(X)是這一分布的數學期望。
2.方差 110
容易看到能度量隨機變量與其均值E(X)的偏離程度,但由於它帶有絕對值,為運算方便起見,通常用量
來度量隨機變量與其均值E(X)的偏離程度。
定義:設X是一個隨機變量,若存在,則稱
為X的方差,記為D(X)或Var(X)。
在應用上引入量 稱為標准差或者均方差。
按照定義,隨機變量X的方差表達了X的取值預期數學期望的偏離程度,若D(X)較小,意味着X的取值集中在E(X)的附近,反之,若D(X)較大則表示X的取值較為分散,因此D(X)是刻畫X取值分散程度的一個量,它是衡量X取值分散程度的一個尺度。
由定義可知,方差實際上是隨機變量X的函數的數學期望,於是
對於離散型隨機變量,有
(2.2)
其中 是X的分布律。
對於連續性隨機變量,有
(2.3)
其中f(x)是X的概率密度
隨機變量X的方差可按下列公式計算
(2.4) 平方的期望減去期望的平方
方差的幾個重要性質:
切比雪夫不等式 115
附表 389
附錄表1中列出了多種常用的隨機變量的數學期望和方差,供讀者查用。
3.協方差及相關系數 116
對於二維隨機變量(X,Y),我們討論了X與Y的數學期望和方差以外,還需討論描述X與Y之間相互關系的數字特征。
協方差和相關系數的重要公式 117
4.矩、協方差矩陣 120
略
第五章 大數定律及中心極限定理
極限定理是概率論的基本理論,在理論研究和應用中起着重要作用,其中最重要的是“大數定律”和“中心極限定理”的一些定理。
大數定律是敘述隨機變量序列的前一些項的算術平均值在某種條件下收斂到這些項的平均值的算術平均值;
中心極限定理則是確定什么條件下,大量隨機變量之和的分布逼近於正態分布。
本章節介紹幾個大數定理和中心極限定理。
1.大數定律 129
第一章曾講過,大量試驗驗證,隨機事件A的頻率當重復試驗的次數n增大時呈現出穩定性,穩定在一個常數附近。頻率的穩定性是概率定義的客觀基礎。
本節我們將對頻率的穩定性作出理論的說明。
弱大數定律(辛欽大數定律)
下面介紹辛欽大數定理的一個重要推論
頻率穩定性的真正含義,用事件的頻率代替時間的概率。
2.中心極限定理 131
在客觀實際中有許多隨機變量,它們是由大量的相互獨立的隨機因素的綜合影響所形成的,而其中每一個別元素在總的影響中所起的作用都是微小的,這種隨機變量往往近似地服從正態分布。
這種現象就是中心極限定理的客觀背景。本節只介紹三個常用的中心極限定理。
定理一 獨立同分布的中心極限定理
這就是獨立同分布中心極限定理結果的另一種表現形式,就是說,均值為μ,方差為 σ方>0 的獨立同分布的隨機變量X1,X2。。Xn的算術平均,當n充分大時近似地服從均值為μ,方差為
的正態分布。這一結果是數理統計中大樣本統計推斷的基礎。
定理二 李雅普諾夫(Lyapunov)定理
定理三 拉普拉斯定理
中心極限定理表明,在相當一般的條件下,當獨立的隨機變量的個數不斷增加時,其和的分布趨於正態分布。
第六章 樣本及抽樣分布
-----------------
統計量:不含任何未知參數的樣本的函數稱為統計量。X1,X2,X3.。。Xn是來自總體X的一個樣本,g(X1,X2,X3。。Xn)是X1,X2,X3.。。Xn的一個函數。若g中不含任何未知參數,則g(X1,X2,X3。。Xn)是一個統計量