二位隨機變量:
- E隨機試驗, Ω是樣本空間, X,Y 是定義在Ω上的兩個隨機變量, (X,Y)向量/變量來自統一個樣本空間
- 分布函數: F(x,y) = P{X≤x, Y≤y}, 聯合分布, 定義域: X≤x and Y≤y的平面, 則概率就是, 定義域在空間內的體積
- X≤x, Y≤y
- 0≤F(x,y)≤1
- F(x,y)不減函數, y固定, x1<x2 F(x1,y)≤F(x2,y)
- F(-∞, y)=0, F(x,-∞)=0, F(-∞, +∞)=0, F(+∞, +∞)=1
- F(x,y)分別關於x和y右連續
- x1<x2, y1<y2, P{x1<X≤x2, y1<Y≤y2} = F(x2, y2)-F(x2, y1) - F(x1, y2) + F(x1, y1)
二維離散型的聯合分布及邊緣分布
- X, Y取離散型數據
- P{X≤x, Y≤y}=Pij,
- Pij≥0
- ΣΣPij=1
- F(x,y) = P{X≤x, Y≤y} = Σxi≤xΣyi≤yPij
- 邊緣分布:
- 取極端, 當求X的邊緣分布, 就是把X=xi(i=1,2,3..)分別對應的yi的概率相加, 即: F(Xi, Y) = P{Xi, y1} + P{Xi, y2} + P{Xi, y...}
- 同理, 當球Y的邊緣分布, 和固定y 分別對應x求概率相加之和
- 聯合分布可唯一確定邊緣分布
- 邊緣分布不能確定聯合分布
- F(x,y) = P{X≤x, Y≤y}=∫-∞x∫-∞yf(s,t)dsdt f(x,y)聯合密度函數
- f(x,y)≥0
- ∫-∞+∞∫-∞+∞f(x,y)dxdy =1
- ∂2F(x,y)/(∂x∂y) = f(x,y)
- C1未XY的平面區域, P{(X,Y)€G}=∫∫f(X,Y)dxdy
- 邊緣密度函數:
- F(x) = f(x,+∞)=∫-∞x[∫-∞+∞f(s,t)dt]ds
- fX(x)=∫-∞+∞f(x,t)dt=∫-∞+∞f(x,y)dy
- fY(y)=∫-∞+∞f(s,y)ds=∫-∞+∞f(x,y)dx
- 二維正太分分布的邊緣分布也是正太分布
- 來那個邊緣分布是正太, 二維並非是二維正太分布
條件分布:
- 在一個事件A已經發生的條件下, 事件x發生的分布
- F(x) = P{X≤x}, F(x|A) = p{X≤x|A}
- 離散型的條件分布:
- 分別求單個元素概率/邊緣密度函數概率=離散型的條件分布
- 連續型的條件分布:
- x,y是條件變量,密度函數是f(x,y),已知fX(x), fY(y), 若fY(y)>0, 在Y=y的條件下,f(x|y)=∫-∞x[f(u,y)]/fY(y)du, f(x|y) = f(x,y)/fY(y), 同理: F(y|x) = ∫-∞yf(x,v)/fX(x)dv f(y|x)=f(x,y)/fX(x)
隨機變量的獨立性:
- f(x|y) = fX(x) = f(x,y)/f(Y(y)
- f(x,y) = fX(x)fY(y) 聯合密度函數=邊緣密度函數的乘積
- F(x,y) = FX(x)FY(y) 用分布函數定義: 聯合分布函數=邊緣分布函數的乘積
- 二維離散型的獨立性:
- 邊緣密度函數的乘積分別等於聯合密度
- 二維連續型的獨立性:
- f(x,y) = fX(x)fY(y)
- 二維隨機變量的函數分布
- 二維離散型:Z=XY,
- Z = X1Y1, X2Y2, X3Y3,...
- P{z} = P{X1,Y1}, P{X2,Y2}, ...
- X1,X2獨立, 服從0~1分布
- x1+x2(x1,x2) = P{x1}P{x2}...
- 二維離散型:Z=XY,
- X,Y獨立事件, λ1, λ2服從泊松分布, Z=X+Y, P{x=k}=λk/k!e-λ
- P{Z=k} = Σi=0kP{x=i, Y=k-i}=Σi=0kP{x=i}P{k-i} = Σi=0kλi/i!e-λ1λ2k-i/(k-i)!e-λ2 = (λ1+λ2)k/k!e-(λ1+λ2)
二維連續變量函數的分布
- 已知事件(X,Y), f(x,y), 構建一個新的函數Z = g(X,Y), 使得FZ(z) = P{Z≤z} = P{g(X,Y)≤z} = ∫∫f(x,y)dxdy
- fZ(z) = ∫-∞+∞f(x,z-x)dx = ∫-∞+∞fX(x)fY(z-x)dx
- fZ(z) = ∫-∞+∞f(z-y, y)dy = ∫-∞+∞fX(z-y)fY(y)dy
- 卷積公式使用前提條件
- z = x+y
- x,y獨立
- X~N(μ1,σ12), Y~N(μ2, σ22), X+Y~N(μ1+μ2, σ12+σ22)
數學期望:
- 離散變量的數學期望: 如果P{X=x}=Pk, 若Σk=1∞xkPk絕對收斂, 那么Ex = Σk=1∞xkPk
- 連續型變量的數學期望:隨機變量x, 他的密度函數是f(x), 假設∫-∞+∞x(x)dx絕對收斂, Ex = ∫-∞+∞xf(x)dx
- 隨機變量函數的期望:
- 二維變量函數Z=g(X,Y)的期望, (X,Y)
- 離散型: EZ = ΣΣg(xi, yi)Pij
- 連續型: Ez = ∫-∞+∞∫-∞+∞g(x,y)f(x,y)dxdy
- 二維變量函數Z=g(X,Y)的期望, (X,Y)
- 數學期望的性質:
- 常數的期望就是常數: EC= C
- E(X+C) = EX+C
- E(CX) = CEX
- E(kx+b)=kEx+b
- E(x±y)=Ex+Ey(任何時候都成立)
- E(ΣCiXi)=ΣCiEXi
- E(1/nΣXi) = 1/nΣXi
- X,Y獨立, E(XY) = EX·EY
- 條件期望:一個變量取某值, 另一個變量的期望
- 離散: E(X|Y=yi) = ΣxiP(X=xi|Y=yi) E(Y|x=xi) = ΣyiP(Y=yi|X=xi)
- 連續性:E(X|Y=y)=∫-∞+∞xf(x|y)dx E(Y|X=x)=∫-∞+∞yf(y|x)dy
- 條件期望具有期望的一切性質
方差:Dx = E(x-Ex)2 存在一個量綱的問題
- 與期望偏離的程度
- DX½: 叫做標准差(解決量綱變化的問題)
- 離散型:
- DX = Σ(xk-Ex)2Pk
- 連續型:
- DX = ∫-∞+∞(x-Ex)2f(x)dx
- DX = EX2-(EX)2
- 方差的性質:
- 常數的方差=0: DC= 0
- D(X+C) = DX
- D(CX) = C2DX
- D(kx+b)=k2DX
- X,Y獨立, D(X±Y)=DX+DY
- DX=0↔P(X=EX)=1
- 標准化:
- x* = (x-Ex)/(Dx)½
常見離散型的期望與方差:
- 0-1分布: P(x=k)=pk(1-p)1-k
- 期望: EX = p 方差: pq
- 二項分布: p(x=k)=Cnkpkqn-k
- 期望: EX = np, 方差: DX = npq
- 幾何分布: p(x=k) = (1-p)k-1p
- 期望: EX = 1/p 方差: DX = (1-p)/p2
- 泊松分布:p(x=k)=λk/k!e-λ, k=1,2,3...
- 期望: EX = λ 方差: DX = λ
- 均勻分布: f(x) = 1/(b-a) a≤x≤b
- 期望: EX = (a+b)/2 方差: DX = (b-a)2/12
- 指數分布: f(x) = λe-λx x>0
- 期望: EX = 1/λ 方差: DX = 2/λ2
- 正態分布: X~N(μ, σ2)
- 期望: EX = μ 方差: DX = σ2
協方差: 協方差表示的是兩個變量的總體的誤差,如果兩個變量的變化趨勢一致，也就是說如果其中一個大於自身的期望值，另外一個也大於自身的期望值，那么兩個變量之間的協方差就是正值. 如果兩個變量的變化趨勢相反，即其中一個大於自身的期望值，另外一個卻小於自身的期望值，那么兩個變量之間的協方差就是負值
- Cov(x,y) = E[(X-EX)(Y-EY)] = E(XY) - EXEY
- 性質1: Cov(X,Y) = Cov(Y, X)
- 性質2: Cov(aX, bY) = abCov(X,Y)]
- 性質3: Cov(X1+X2, Y) = Cov(X1,Y)+Cov(X2,Y)
- 性質4: Cov(C,X) = 0
- 性質5: X,Y獨立, Cov(X,Y) = 0
相關系數:
- ρ = Cov(X,Y)/(DX½DY½) = [E(XY) - EXEY]/(DX½DY½)與Cov(X,Y)同正, 同負, 同0
- X,Y獨立, 則X,Y線性不相關
- X,Y不相關, X,Y不一定獨立
- 獨立與不相關是等價的
原點距: EXk, 期望: EX, 一階原點距
- 離散: ΣxikPi
- 連續: ∫-∞+∞xkf(x)dx
中心距: E(X-EX)k 以EX為中心
- 一階中心距: E(X-EX) = EX - EX = 0
- 二階中心距: E(X-EX)2 方差
- 離散: Σ(Xi=Ex)kPi
- 連續: ∫-∞+∞(X-EX)kf(x)dx