數學基礎（2）~ 數理統計基礎知識

出處：http://www.cnblogs.com/fanling999/p/6708458.html
參考：盛驟, 謝式千, 潘承毅. 概率論與數理統計, 第四版[M]. 高等教育出版社, 2008.

數理統計基礎知識

_數理統計_是具有廣泛應用的一個數學分支，它以概率論為理論基礎，根據試驗或觀察得到的數據，來研究隨機現象，對研究對象的客觀規律性作出種種合理的估計和假設。

在實際工程中，我們對於一個總體進行研究，往往只能通過對總體的觀察樣本進行研究，基於樣本的分布來研究總體的分布，數理統計為這樣的過程提供和很好的支持。本文主要分為三個部分旨在對數理統計知識進行簡要的回顧和總結，因此忽略了很多細節，如需要可以參考本文使用的教材，或其他相關書籍。

第一部分對抽樣分布的內容進行了回顧總結，是后續章節的基礎。根據大數定理，我們可以基於樣本對總體的統計量進行合適的估計，統計量有樣本均值、樣本方差、樣本標准差、樣本k階（原點）矩、樣本k階中心矩。使用統計量的分布（即抽樣分布）對總體分布進行研究，總結了常用的三大分布即 \(\chi ^{2}\)，t分布，和F分布，主要關注分布的概率密度函數以及分為點。

第二部分和第三部分總結了統計推斷的兩大類問題，即估計問題和假設檢驗問題。

第二部分，參數估計，可分為點估計和區間估計。其中點估計有矩估計發和極大似然估計法。為了獲知估計的可信程度，可使用區間估計法，其核心在於基於統計量的分布，以及分為點，確定參數估計區間。

第三部分，假設檢驗，是根據樣本所提供的信息來考慮對假設作出接收或拒絕的決策過程。假設檢驗與區間估計類似，假設檢驗中有零假設和備擇假設。我們總是假設在假設零假設正確的基礎上去計算‘當零假設正確時被拒絕的概率’，這也被稱為第一類錯誤發生的概率，並盡可能的減小這種錯誤發生的可能性，使得錯誤發生的概率很小，而小概率事件在一次試驗中是幾乎不可能發生的，因此對於一次觀察，如果這樣的錯誤發生了，我們就有理由懷疑零假設的正確性，從而做出拒絕零假設的決策，具體過程參考相應章節。最常用的假設檢驗方法有t檢驗。其中需要注意的問題還有樣本容量的選取、原假設和備擇假設的選取等。在實踐中我們常喜歡使用p-value來衡量假設檢驗的顯著程度，顯著水平\(\alpha\)相對應。最后，大多假設都基於分布已知的前提，這些也被稱為參數化方法。然而實踐中這不總是能獲知，這個時候可以有兩個解決方案（1）當樣本容量充分大時，我們可以根據中心極限定理，使用正態分布對總體分布進行近似（2）使用非參數化方法，不需要基於分布已知的前提，不過其檢驗效果往往差於參數化方法，其中秩和檢驗就是這樣的非參數化檢驗方法。因此在最后總結了分布擬合檢驗，對未知總體是否服從某一分布進行假設檢驗。

1.樣本及抽樣分布

本章主要介紹總體、隨機樣本及統計量等基本概念，介紹了幾個常用的統計量和抽樣分布。

1.1 隨機樣本

基本概念

• 總體：實驗全部可能的觀察值
• 個體：每個觀察值被成為個體
• 容量：總體中所包含的個體的個數
• 有限總體：容量有限
• 無限總體：容量無限（有些有限總體的容量很大，可以認為是無限總體，例如考察全國正在使用的某種燈泡的壽命）
• 樣本：在數理統計中，人們都是通過從總體中抽取一部分個體，根據獲得的數據來對總體分布作出推斷的，被抽出的部分個體叫做總體的一個樣本。
• 抽樣：放回抽樣和不放回抽樣。對於有限總體，采用放回抽樣可以得到簡單隨機樣本，但放回抽樣使用起來不方便，因此當個體總數N比要得到的樣本的容量n大得多時，可將不放回抽樣當作放回抽樣來處理。對於無限總體，因抽取一個個體不影響它的分布，因此總是使用不放回抽樣。
• 簡單隨機樣本：在相同條件下對總體X進行n次重復的、獨立的觀察，n次觀察結果依次表示為X₁,X₂,...,X_n, 可認為他們相互獨立並都是與總體X具有相同分布的隨機變量。

重要定義

定義：設X是具有分布函數F的隨機變量，若 X₁,X₂,...,X_n 是具有同一分布函數F的、相互獨立的隨機變量，則稱 X₁,X₂,...,X_n 為從分布函數F（或總體F、或總體X）得到的容量為n的簡單隨機樣本，簡稱樣本，它們的觀察值 x₁,x₂,...,x_n 稱為樣本值，又稱為X的n個獨立的觀察值。

將樣本表示成一個隨機向量（X₁,X₂,...,X_n），對應的樣本值為 （x₁,x₂,...,x_n）。
若（x₁,x₂,...,x_n）和（y₁,y₂,...,y_n）都是相應於樣本（X₁,X₂,...,X_n）的樣本值，一般來說它們是不相同的。
由定義（X₁,X₂,...,X_n）的分布函數為：

\[F^{*}(x_{1}, x_{2}, ..., x_{n}) = \prod_{i=1}^{n} F(x_{i}) \]

若X具有概率密度，則 （X₁,X₂,...,X_n）的概率密度為：

\[f^{*}(x_{1},x_{2},...,x_{n}) = \prod_{i=1}^{n}f(x_{i}) \]

1.2 直方圖和箱線圖

圖表是進行數據分析的有效工具，這里給出兩個常用的基本統計圖：

頻率直方圖：（1）將可能的結果分成幾個區間，即橫坐標的分段，統計每個分段的頻率並作圖（1）小矩形面積=數據落在該區間內的頻率。

 **箱線圖：** （1）圖中各個值的意思： Min、Max分別表示樣本的最大值和最小值，M表示樣本中位數（又稱第二四分位點，對應0.5分位數x _0.5），Q1表示第一個四分位點（即0.25分位數，x _0.25），Q3表示第三四分位點（對應0.75分位數x _0.75）。

（2）幾個概念：

• 中心位置：中位數M所在位置就是數據集的中心；
• 離散程度：全部數據都落在[Min,Max]之內，[Min,Q1],[Q1,M],[M,Q3],[Q3,Max]區間內的數據個數約各占1/4。區間較短時，表示落在區間的點比較集中，反之較為分散；
• 對稱性：若中位數位於箱子的中間位置，則數據分布較為對稱（下圖中Min離M的距離較Max離M的距離大，表示數據分布左傾斜，反之可稱為右傾斜）。

 **疑似異常值：** 在數據集中不尋常的大於或小於數據集中的其他數據的值。（箱線圖中小於Min和大於Max部分的離群點） **異常來源：**（1）數據的測量、記錄或輸入計算機時的誤差；（2）數據來自不同的總體；（3）數據是正確的，但它只體現小概率事件。（面對異常需進一步分析原因，如果無法對異常進行處理，選擇模型時應考慮對異常或離群點具有魯棒性較好的模型）

1.3 抽樣分布

樣本是進行統計推斷的依據。在應用時，往往不是直接使用樣本本身，而是針對不同的問題構造樣本的適當函數，利用這些樣本的函數進行統計推斷。

1.3.1 幾個常用的統計量

定義：設X₁,X₂,...,X_n是來自總體X的一個樣本，g(X₁,X₂,...,X_n) 是 X₁,X₂,...,X_n的函數，g中不含未知參數，則稱 g(X₁,X₂,...,X_n) 是一統計量。

因為X₁,X₂,...,X_n是隨機變量，而g(X₁,X₂,...,X_n)是隨機變量的函數，因此統計量是一個隨機變量。相應的設 x₁,x₂,...,x_n 為樣本值，那么g(x₁,x₂,...,x_n)為g(X₁,X₂,...,X_n)的觀察值。

• 樣本平均值：

\[\bar{X} = \frac{1}{n} \sum_{i=1}^{n} X_{i} \]

• 樣本方差：（分母為n-1是為了保證無偏估計）

\[S^{2} = \frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\bar{X})^{2} = \frac{1}{n-1}(\sum_{i=1}^{n}X_{i}^{2} - n\bar{X}^{2}) \]

• 樣本標准差：

\[S = \sqrt{S^{2}} = \sqrt{ \frac{1}{n-1}\sum_{i=1}^{n}(X_{i}-\bar{X})^{2} } \]

• 樣本k階（原點）矩：

\[A_{k} = \frac{1}{n} \sum_{i=1}^{n} X_{i}^{k}, k=1,2,...; \]

• 樣本k階中心矩：

\[B_{k} = \frac{1}{n} \sum_{i=1}^{n} (X_{i}-\bar{X})^{k}, k=2,...; \]

將樣本值x₁,x₂,...,x_n帶入上面的統計量表達式則可以得到對應的觀察值。

1.3.2 經驗分布函數

總體分布函數F(X)的統計量稱為經驗分布函數。

構造方法如下：設X₁,X₂,...,X_n是總體F的一個樣本，用S(x)，-inf < x < inf 表示 X₁,X₂,...,X_n 中不大於 x 的隨機變量的個數，則經驗分布函數定義如下：

\[F_{n}(x) = \frac{1}{n}S(x), -\infty < x < \infty \]

一般，設x₁,x₂,...,x_n是總體F的一個容量為n的樣本值，先將x₁,x₂,...,x_n 按自小到大的次序排列，並重新編號。設為 x₍₁₎ <= x₍₂₎<=...<=x_(n)，則經驗分布函數的觀察值為：

\[F_{n}(x)= \left\{\begin{matrix} 0, & if x < x_{1}\\ \frac{k}{n} & if x_{k} \leqslant x < x_{k+1} , k=1,2,...,n-1 \\ 1, & if x\geq x_{n} \end{matrix}\right. \]

對於經驗分布函數，格里汶科（Glivenko）在1933年已經證明，當n趨於無窮時，經驗分布函數一致收斂於分布函數F(x)。因此當n充分大時，經驗分布函數的任一觀察值與總體分布函數F(x)只有微小的差別，實際上可以當作總體分布F(x)來只用。

1.3.3 幾個常用統計量的分布

在使用統計量進行統計推斷時常需要知道它的分布，然而這在實際中是困難的。因此我們經常使用統計量的分布來研究總體分布，而統計量的分布稱為抽樣分布。

下面給出三個來自正態分布的抽樣分布，即統計學中的三大分布，重點給出定義、概率密度函數圖、分位點

（1） \(\chi ^{2}\) （卡方分布）

定義： 設X₁,X₂,...,X_n是來自標准正態總體N(0,1)的樣本，則稱統計量

\[\chi ^{2} = X_{1}^{2} + X_{2}^{2} + ... + X_{n}^{2} \]

服從自由度為n的\(\chi ^{2}\)分布，記為$ \chi ^{2} \sim \chi ^{2}(n) $
（自由度是指獨立變量的個數）

性質：

• 可列可加性

\[\chi _{1}^{2} + \chi _{2}^{2} \sim \chi ^{2}(n_{1} + n_{2})，\chi _{1}^{2} 和 \chi _{2}^{2}相互獨立性 \]

• 數學期望和方差（根據定義很好證明）

\[E(\chi ^{2}) = n, D(\chi ^{2}) = 2n \]

• 上分位點（參考圖形，計算查表）

\[P(\chi ^{2} > \chi _{\alpha}^{2}(n) ) = \int_{\chi _{\alpha}^{2}(n)}^{\infty} f(y)dy = \alpha \]

概率密度在n不同取值下的圖形；上分為點示意圖。

（2） t分布

定義：設 $ X\sim N(0,1), Y \sim \chi ^{2}(n) $ 且 X，Y相互獨立，則稱隨機變量

\[t = \frac{X}{\sqrt{Y/n}} \]

服從自由度為n的t分布，記為t~t(n)。

上分位點

\[P(t>t_{\alpha (n)}) = \int_{t_{\alpha}(n)}^{\infty} h(t)dt = \alpha \]

對稱性： $$ t_{1-\alpha }(n) = -t_{\alpha}(n) $$
當n>45時，可用正態近似：$$ t_{\alpha }(n) \approx z_{\alpha} $$

t分布的概率密度圖；上分為點圖示。

（3） F分布

定義： 設 $ U \sim \chi ^{2}(n_{1}), V \sim \chi ^{2}(n_{2}) $ 且U,V相互獨立，則稱隨機變量

\[F = \frac{U/n_{1}}{V/n_{2}} \]

服從自由度為(n₁, n₂)的F分布，記為 F~F(n₁, n₂)。

由定義可知：1/F ~ F(n₂, n₁)

上分位點

\[P( F > F_{\alpha} (n_{1}, n_{2}) ) = \int_{F_{\alpha} (n_{1}, n_{2})}^{\infty} \varphi (y) dy = \alpha \]

\[F_{1- \alpha} (n_{1}, n_{2}) = \frac{1}{F_{\alpha} (n_{1}, n_{2})} \]

F分布的概率密度圖；上分位點示意圖

注意：在分為點中 $ 0 < \alpha < 1 $

1.3.4 正態總體的樣本均值和樣本方差的分布

（1）設X₁,X₂,...,X_n是來自總體X（不管服從什么分布，只要它的均值和方差存在）的樣本，並且有：$$ E(X) = \mu, D(X) = \sigma ^{2}$$ 則有： $$ E(\bar{X}) = \mu, D(\bar{X}) = \sigma ^{2} / n $$

（2）設總體 \(X\sim N(\mu, \sigma ^{2})\) ， X₁,X₂,...,X_n 是來自總體X的樣本，則有：

• \(\bar{X} \sim N(\mu, \sigma ^{2}/n)\)
• \(\frac{(n-1)S^{2}}{\sigma ^{2}} \sim \chi ^{2}(n-1)\)
• \(\bar{X},S^{2}\) 相互獨立
• \(\frac{\bar{X}-\mu}{S/\sqrt{n}} \sim t(n-1)\)
• 兩個正態總體 \(X \sim N(\mu _{1}, \sigma _{1}^{2}), Y \sim N(\mu _{2}, \sigma _{2}^{2})\)
  • \(\frac{S_{1}^{2}/S_{2}^{2}}{\sigma _{1}^{2} / \sigma _{2}^{2}} \sim F(n_{1}-1, n_{2}-1)\)
  • 當 \(\sigma _{1}^{2} = \sigma _{2}^{2} = \sigma ^{2}\) 查看參考書

2.參數估計

參數估計問題可以分為：點估計和區間估計。點估計是適當的選擇一個統計量作為未知參數的估計，若已取得一樣本，將樣本值帶入估計量，得到估計量的值，以估計量的值作為未知參數的值。點估計不能反應估計的精度，因此引入了區間估計，置信區間是一個隨機區間，其具有高的預先給定的概率覆蓋未知參數。

2.1 點估計

定義：設總體X的分布函數的形式已知，但它的一個或多個參數未知，借助於總體X的一個樣本來估計未知參數的值的問題稱為參數的點估計問題。下面主要總結兩種常用的點估計方法，即：矩估計法和最大似然估計法。

點估計的一般提法：設總體X的分布函數 \(F(x;\theta)\) 的形式為已知 \(\theta\) 是待估參數。X₁,X₂,...,X_n是X的一個樣本，x₁,x₂,...,x_n是相應的一個樣本值。點估計問題就是要構造一個適當的統計量\(\hat{\theta}(X_{1},X_{2},...,X_{n})\)，用它的觀察值\(\hat{\theta}(x_{1},x_{2},...,x_{n})\)作為未知參數\(\theta\)的近似值。我們稱\(\hat{\theta}(X_{1},X_{2},...,X_{n})\)為\(\theta\)的估計量, 稱\(\hat{\theta}(x_{1},x_{2},...,x_{n})\)為\(\theta\)的估計值。

（1）矩估計法

1. 基於樣本矩依概率收斂於總體矩構造估計量，即：

\[A_{l} = \frac{1}{n}\sum_{i=1}^{n}X_{i}^{l} \overset{P}{\rightarrow} \mu_{l} , l=1,2,...,k \]

2. 根據樣本矩估計總體矩得關於未知k個參數的方程組，即：

\[\left\{\begin{matrix} \mu_{1} = & \mu_{1}(\theta_{1},\theta_{2},...,\theta_{k}) \\ \mu_{2} = & \mu_{2}(\theta_{1}, \theta_{2}, ..., \theta_{k}) \\ ... & \\ \mu_{k} = & \mu_{k}(\theta_{1}, \theta_{2}, ..., \theta_{k}) \end{matrix}\right. \]

3. 根據k個方程組解出未知參數，即：

\[\left\{\begin{matrix} \theta_{1}= & \theta_{1}(\mu_{1},\mu_{2},...,\mu_{k})\\ \theta_{2}= & \theta_{2}(\mu_{1},\mu_{2},...,\mu_{k})\\ ... ... & \\ \theta_{k}= & \theta_{k}(\mu_{1},\mu_{2},...,\mu_{k}) \end{matrix}\right. \]

使用樣本矩代替總體矩得到：
\left{\begin{matrix}
\theta_{1}= & \theta_{1}(A_{1},A_{2},...,A_{k})\
\theta_{2}= & \theta_{2}(A_{1},A_{2},...,A_{k})\
... ... & \
\theta_{k}= & \theta_{k}(A_{1},A_{2},...,A_{k})
\end{matrix}\right.

（2）最大似然估計法

1. 結合聯合概率和條件概率的計算，可得樣本X₁,X₂,...,X_n觀察到值x₁,x₂,...,x_n的概率如下（稱為樣本的似然函數）：

\[L(\theta) = L(x_{1},x_{2},...,x_{n};\theta) = \prod_{i=1}^{n}p(x_{i},\theta), \theta \in \Theta \]

2. 原理：小概率事件在一次試驗中幾乎不可能發生，因此可以認為當前觀察到的樣本值x₁,x₂,...,x_n發生的概率較大，即$ L(\theta)\(較大，我們不會考慮那些不能使當前樣本值出現的那些\)\theta \in \Theta\(作為未知參數的估計，而是應該考慮那些使得\) L(\theta)\(較大的參數作為估計。****由費希爾(R.A.Fisher)引進的最大似然估計法，就是固定樣本觀察值x₁,x₂,...,x_n，在\)\theta\(的可能范圍內挑選使得似然函數\)L(x_{1},x_{2},...,x_{n};\theta)\(達到最大值的參數值\)\hat_{\theta}$作為估計值，即：****

\[L(x_{1},x_{2},...,x_{n};\hat{\theta}) = max_{\theta \in \Theta } L(x_{1},x_{2},...,x_{n};\theta) \]

\(\hat{\theta}(x_{1},x_{2},...,x_{n})\)稱為參數\(\theta\)的最大似然估計值，而相應的\(\hat{\theta}(X_{1},X_{2},...,X_{n})\)稱為參數\(\theta\)的最大似然估計量。
3. \(lnL(\theta)\) 和 \(L(\theta)\)在同一\(\theta\)處取到極值，因此可以對似然函數取對數后求解（取對數的操作可以將乘法轉換為加法，計算上要更為簡單），即對k個方程解以下微分方程得到未知參數的估計：

\[\frac{\partial }{\partial \theta_{i}}lnL = 0, i=1,2,...,k \]

注意，對於連續型隨機變量，似然函數可取（使用概率密度函數）：

\[L(\theta) = L(x_{1},x_{2},...,x_{n};\theta) = \prod_{i=1}^{n}f(x_{i},\theta), \theta \in \Theta \]

2.2 區間估計

區間估計是確定未知參數的一個取值范圍，並給出未知參數落入這個范圍的一個概率估計即可信程度。
定義： 假總體X的分布函數\(F(x;\theta)\)含有一個未知參數\(\theta, \theta \in \Theta\)(\(\Theta\)是可能取值的范圍)，對於給定值\(\alpha (0<\alpha<1)\)，若由來自X的樣本X₁,X₂,...,X_n確定的兩個統計量$\underline{\theta}=\underline{\theta}(X_{1},X_{2},...,X_{n}) $ 和 $\bar{\theta}=\bar{\theta}(X_{1},X_{2},...,X_{n}) $ (\(\underline{\theta} < \bar{\theta}\))，對於任意 \(\theta \in \Theta\)滿足

\[P(\underline{\theta}(X_{1},X_{2},...,X_{n}) < \theta < \bar{\theta}(X_{1},X_{2},...,X_{n})) \geqslant 1-\alpha \]

則稱隨機區間\((\underline{\theta} < \bar{\theta})\)是\(\theta\)置信水平為\(1-\alpha\) 的 置信區間，\(1-\alpha\)稱為置信水平，\(\underline{\theta}\)為置信下限，\(\bar{\theta}\)為置信上限。

一般步驟：

1. 尋找一個樣本X₁,X₂,...,X_n和\(\theta\)的函數\(W = W(X_{1},X_{2}, ... ,X_{n};\theta)\)，使得W的分布不依賴於\(\theta\)以及其他未知參數，稱具有這種性質的函數W為樞軸量。（可以從上一章的抽樣分布入手進行構造）
2. 對於給定的置信水平\(1-\alpha\)，定出兩個常數a，b使得 \(P( a < W(X_{1},X_{2}, ... ,X_{n};\theta) < b) = 1- \alpha\)。若能從\(a < W(X_{1},X_{2}, ... ,X_{n};\theta) < b\) 得到與之等價的\(\theta\)的不等式\(\underline{\theta} < \theta < \bar{\theta}\)，那么\((\underline{\theta} < \bar{\theta})\)是\(\theta\)置信水平為\(1-\alpha\) 的 置信區間。（根據上一步構造的樞軸量所服從分布的上分為點進行確定）

注意：樞軸量\(W = W(X_{1},X_{2}, ... ,X_{n};\theta)\)的構造，通常可以從\(\theta\)的點估計着手考慮。常用的正態總體的參數的置信區間可以用上述步驟推得。

一個例子：
問題：設總體\(X\sim N(\mu, \sigma ^{2})\)，\(\sigma ^{2}\)為已知，\(\mu\)為未知，設\(X_{1},X_{2},...,X_{n}\)是來自X的樣本，求\(\mu\)的置信水平為\(1-\alpha\)的置信區間。
解答：
我們知道\(\bar{X}\)是\(\mu\)的無偏估計，且有：

\[\frac{\bar{X}-\mu}{\sigma/\sqrt{n}} \sim N(0,1) \]

\(\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}\)服從標准正態分布不依賴於任何未知參數。按標准正太分布的上\(\alpha\)分為點的定義可得（如下圖所示）：

\[P(|\frac{\bar{X}-\mu}{\sigma/\sqrt{n}}| < z_{\alpha/2}) = 1-\alpha \]

概率表示圖中無陰影，中間部分。由此解得：

\[P(\bar{X}-\frac{\sigma}{\sqrt{n}}z_{\alpha/2} < \mu < \bar{X}+\frac{\sigma}{\sqrt{n}}z_{\alpha/2}) = 1 - \alpha \]

由此可以得到\(\mu\)的一個置信水平為\(1-\alpha\)的置信區間：$(\bar{X}-\frac{\sigma}{\sqrt{n}}z_{\alpha/2} ,\bar{X}+\frac{\sigma}{\sqrt{n}}z_{\alpha/2}) $
最后只需要帶入變量並查表就可以得到確切的區間。

值得注意的是，滿足要求的置信區間不止一個，兩個端點的面積加起來為\(\alpha\)則滿足要求，但其中\(\alpha/2\)分為點形成的置信區間最短，因此精度最好，所以被選為置信區間（具體可參考課本P163）。

標准正態分布的分為點：

下面給出常用的區間估計，其不同在於樞軸量的構建，因此只給出各種情況下數軸量的表示以及服從的分布

2.3 正態總體均值與方差的區間估計

1. 單個總體\(X \sim N(\mu, \sigma^{2})\)

(1) 均值\(\mu\)的置信區間
1.1 \(\sigma^{2}\) 已知

\[\frac{\bar{X}-\mu}{\sigma/\sqrt{n}} \sim N(0,1) \]

如上文的例子
1.2 \(\sigma^{2}\) 未知

\[\frac{\bar{X}-\mu}{S/\sqrt{n}} \sim t(n-1) \]

(2) 方差\(\sigma^{2}\)的置信區間

\[\frac{(n-1)S^{2}}{\sigma^{2}} \sim \chi ^{2}(n-1) \]

2. 兩個總體\(X \sim N(\mu_{1}, \sigma_{2}^{2}), Y \sim N(\mu_{2}, \sigma_{2}^{2})\)

(1) 兩個總體均值差\(\mu_{1} - \mu_{2}\)的置信區間

\[\bar{X} - \bar{Y} \sim N(\mu_{1}-\mu_{2}, \frac{\sigma_{1}^{2}}{n_{1}}+\frac{\sigma_{2}^{2}}{n_{2}}) \]

(2) 兩個總體方差比\(\sigma_{1}^{2} / \sigma_{2}^{2}\)的置信區間

\[\frac{S_{1}^{2}/S_{2}^{2}}{\sigma_{1}^{2} / \sigma_{2}^{2}} \sim F(n_{1}-1, n_{2}-1) \]

2.4 （0-1）分布參數的區間估計

有中心極限定理，當n充分大時有:

\[\frac{\sum_{i=1}^{n}X_{i}-np}{\sqrt{np(1-p)}} = \frac{n\bar{X}-np}{\sqrt{np(1-p)}} \sim N(0,1) \]

2.5 單側置信區間

單側致信區間是確定參數的上限或則下限，只需要根據給定的置信度確定上分為點或下分為點即可，如下面兩圖所示，其求解過程與雙側區間類似。

\[P(\theta > \underline{\theta}) \geqslant 1-\alpha \]

\[P(\theta < \bar{\theta}) \geqslant 1-\alpha \]

t分布的上\(\alpha\)分為點：

卡方分布的下\(\alpha\)分位點，可以根據性質求得（參考上一章）：

2.6 估計量的評選標准

用不同的估計方法求出的估計量可能不相同，原則上任何統計量都可以作為未知參數的估計。至於哪一個更好，有以下3個常用的評判標准，即無偏性、有效性和相合性。
1. 無偏性
若估計量\(\hat{\theta} = \hat{\theta}(X_{1},X_{2},...,X_{n})\)的數學期望存在，且對於任意\(\theta \in \Theta\)有\(E(\hat{\theta}) = \theta\)，這稱\(\hat{\theta}\) 為 \(\theta\) 的無偏估計。

估計量相對於真值來說總會存在一定的誤差，偏大或者偏小，無偏性是要求反復對估計量使用多次，其均值可以逼近真值，即要求系統誤差$E(\hat{\theta}) - \theta $為0.

2. 有效性
有效性是對估計量離散程度的一個考量，對於兩個無偏估計量，方差小的要更優。

3. 相合性

\[\lim_{n\rightarrow \infty} P(|\hat{\theta}-\theta|<\varepsilon ) = 1 \]

估計量要依概率收斂於真值，這是估計量的基本要求，如果估計量不能滿足相合性，那么不論樣本容量n取多么大，都不能得到參數的准確估計，是不可取的。

2.7 基於截尾樣本的最大似然估計

很多時候由於各方面因素，比如時間和經濟的因素，我們不能獲取到完全樣本。因此就會存在截斷抽樣，可分為定時結尾樣本和定數結尾樣本。以研究燈泡的壽命為例：定時結尾樣本是給定一個觀察終止的時間點，觀察在這個時間點內有多少燈泡失效；定數結尾樣本是給定常數m，當失效的燈泡數量達到m時，實驗結束，得到一個樣本。 對於這類問題，關鍵在於確定似然函數。

3.假設檢驗

有關總體分布的未知參數或未知分布形式的種種論斷叫統計假設，人們根據樣本所提供的信息對所考慮的假設作出接受或拒絕的決策。假設檢驗就是作出這一決策的過程。

3.1 假設檢驗

處理參數的假設檢驗問題的步驟如下：

1. 根據實際問題的要求，提出原假設\(H_{0}\)及備擇假設\(H_{1}\)
2. 給定顯著水平\(\alpha\)以及樣本容量n
3. 確定檢驗統計量以及拒絕域的形式
4. 按P{當\(H_{0}\)為真拒絕\(H_{0}\)}\(\leqslant \alpha\)求出拒絕域
5. 取樣，根據樣本觀察值作出決策，是接受\(H_{0}\)還是拒絕\(H_{0}\)

示例
在顯著水平\(\alpha\)下，檢驗假設：

\[H_{0}:\mu = \mu _{0}, H_{1}:\mu \neq \mu_{0} \]

H₀稱為原假設或零假設
H₁稱為備擇假設

假設檢驗的過程是：我們認為H₀假設是正確的，並嘗試根據樣本統計量對均值的真值進行估計，這個時候均值的無偏估計\(\bar{X}\)應該與\(\mu_{0}\)非常接近，即\(|\bar{X}-\mu_{0}|\)不會過分的大，如果很不幸對於某一樣本值\(|\bar{x}-\mu_{0}|\)過大，又基於小概率事件在一次實驗中幾乎不可能發生，然而現在發生了，那么我們就有理由懷疑H₀假設的正確性。通常來說，我們會給定一個閾值k以控制是否接受H₀假設的決策。
另一方面，\(|\bar{x}-\mu_{0}|\)的大小與\(\frac{|\bar{X}-\mu_{0}|}{\sigma/\sqrt{n}}\)的大小是正相關的，而后者作為統計量更容易計算，因此我們往往會從某一統計量入手去做決策。既然是決策，就就有可能發生錯誤，即當H₀為真時，我們仍然有可能將其拒絕，這也被稱為假設檢驗中的第一類錯誤，我們希望盡可能減小這類錯誤發生的概率，
P{當H₀為真拒絕H₀} = \(P_{\mu_{0}}(|\frac{\bar{X}-\mu_{0}}{\sigma/\sqrt{n}}| \geq k) = \alpha\)
解釋：H₀為真，但其樣本均值\(\bar{X}\)與給定值的偏離程度超出了閾值k，這個時候我們將會做出拒絕H₀。然而！！！H₀是真的，因此我們犯了第一類錯誤，而我們希望折中錯誤發生的概率很小，即\(\alpha\)很小，往往取0.1,0.05,0.01,0.005等值。

H₀為真時，\(\frac{\bar{X}-\mu_{0}}{\sigma / \sqrt{n}} \sim N(0,1)\)，由標准正態分布分為點的定義，可以得到\(|\frac{\bar{X}-\mu_{0}}{\sigma / \sqrt{n}}|\geq k = z_{\alpha/2}\)，如下圖：

對於任一樣本值，計算\(|z|=|\frac{\bar{x}-\mu_{0}}{\sigma / \sqrt{n}}|\)，如果|z|大於\(z_{\alpha/2}\)，小概率事件發生了，那么我們有理由懷疑原假設的正確性，因此拒絕原假設，否則我們沒有足夠的理由拒絕原假設。

標准正態分布的分為點，我們希望陰影部分的面積盡可能小（這是犯第一類錯誤的概率，也是拒絕域）：

常用的正態總體均值、方差的假設檢驗
根據中心極限定理，當樣本容量很大時，很多分布都可以近似到正態分布進行處理。假設檢驗有雙邊檢驗、單邊檢驗（左邊檢驗和右邊檢驗）。
t檢驗是實踐中最常用到的假設檢驗，因為實踐中往往很難獲知方差的情況。對於單個正態總體，可以使用t檢驗均值的是否產生顯著變化。對於兩個正態總體，分兩種情況（1）輸入的是兩組不同環境下的觀察值，那么使用一般的t檢驗（2）輸入是兩組相同條件下的成對的（對比實驗的）觀察值，可以使用成對數據的t檢驗。（參考下面的表格）
對於單一實驗樣本可以采用t檢驗，對於成對的觀察值可以采用成對的t檢驗。

3.2 假設檢驗的其他關鍵內容：

1. 置信區間與假設檢驗之間的關系

實際上置信區間是對某一參數的區間估計，這一區間對應着相應的假設檢驗中的接受域，\(1-\alpha\)置信水平的置信區間，對應着\(\alpha\)顯著水平的假設檢驗的接受域。我們在進行假設檢驗（顯著性檢驗）時更關注拒絕域。

2. 假設檢驗中的兩類錯誤

第I類錯誤是假設檢驗中顯式控制的錯誤，又稱為“棄真”，第II類錯誤稱為“存偽”。

3. 樣本容量的選取

在假設檢驗中，總是根據問題的要求，預先給出顯著性水平以控制犯第I類錯誤的概率，而犯第II類錯誤的概率則依賴於樣本容量的選擇。一些實際問題中，我們除了希望控制犯第I類錯誤的概率外，往往還希望控制犯第II類錯誤的概率。這里可以通過OC曲線來進行研究。

4. 假設檢驗問題的p值法

定義：假設檢驗問題的p值（probability value）是由檢驗統計量的樣本觀察值得出的原假設可被拒絕的最小顯著水平。

按p值的定義，對於任意顯著性水平\(\alpha\)，就有：
(1)若p值<=\(\alpha\)，則在顯著性水平\(\alpha\)下拒絕H₀
(2)若p值>\(\alpha\)，則在顯著性水平\(\alpha\)下接受H₀

在現代計算機統計軟件中，一般都給出檢驗問題的p值。

p值表示反對原假設H₀的依據的強度，p值越小，反對H₀的依據越強、越充分。
一般，p值的討論可以分為以下幾種情況：

• 若p<=0.01，稱推斷拒絕H₀的依據很強或稱檢驗是高度顯著的；
• 若0.01<p<=0.05稱推斷拒絕H₀的依據很強或稱檢驗是顯著的；
• 若0.05<p<0.1稱推斷拒絕H₀的理由是弱的，檢驗是不顯著的；
• 若p>0.1一般來說沒有理由拒絕H₀。

t單邊檢驗和雙邊檢驗的p value：

5. 原假設和備擇假設的選擇

在進行顯著性檢驗時，犯第I類錯誤的概率是由我們控制的。\(\alpha\)取得小，保證了當H₀為真時錯誤地拒絕H₀的可能性很小。這意味着H₀是受到保護的，也表明H₀、H₁的地位是不對等的。於是，在一對對立假設中，選哪一個作為H₀需要小心。
一般情況下，選擇H₀、H₁使得兩類錯誤中后果嚴重的錯誤成為第一類錯誤，這是選擇H₀、H₁的一個原則。 比如考慮某種葯品是否為真時，應該將‘葯品為假’作為H₀，第一類錯誤就是‘葯是假的但被拒絕了’，也就是說‘葯是真的’，這個存在很大的危險性，不過現在我們將其作為H₀假設，我們可以控制減小犯這種嚴重錯誤的概率。
如果兩類錯誤中，沒有一類錯誤的后果嚴重更需要避免時，常常取H₀為維持現狀，即取H₀為‘無效益’，‘無改進’，‘無價值’等，這樣會比較保守一些。
在實際問題中，情況比較復雜，如何選取H₀，H₁，只能在實踐中積累經驗，根據實際情況去判斷。

3.4 秩和檢驗

顯著性檢驗的方法可以分為參數統計方法和非參數統計方法。
(1)參數統計方法：總體分布類型已知，用樣本指標對總體參數進行推斷或假設檢驗的方法。
(2)非參數統計方法：不用考慮總體分布是否已知，不比較總體參數，只比較總體分布的位置是否相同的統計的方法。

前面提及的統計檢驗方法，比如t檢驗，均屬於參數統計方法，需要提前知道總體分布的形式。一般情況下，當樣本容量足夠大時，基於中心極限定理，可使用正態分布（高斯分布）作為近似。

而秩和檢驗是典型的非參數化統計方法，不需要知道總體分布的形式，不過值得注意的是檢驗需要滿足‘獨立性’是前提。

3.3 分布擬合檢驗

實際問題中，總體的分布往往不總是可以被獲取到的，這時需要根據樣本檢驗關於分布的假設。課本中主要介紹了\(\chi ^{2}\)擬合檢驗法，它可以用來檢驗總體是否具有某一個指定的分布或屬於某一個分布族。此外還介紹了專門用於檢驗分布是否為正態的“偏度、峰度檢驗法”。

(1)單個分布的\(\chi ^{2}\)擬合檢驗法

(2)分布族的\(\chi ^{2}\)擬合檢驗法

(3)偏度、峰度檢驗
隨機變量的偏度和峰度是指X的標准化變量\([X-E(X)]/\sqrt{D(X)}\)的三階矩和四階矩：

\[\nu _{1} = E[(\frac{X-E(X)}{\sqrt{D(X)}})^3] = \frac{E[(X-E(X))^3])}{(D(X))^{3/2}} \]

\[\nu _{2} = E[(\frac{X-E(X)}{\sqrt{D(X)}})^4] = \frac{E[(X-E(X))^4])}{(D(X))^{2}} \]

當隨機變量X服從正太分布時\(\nu _{1}=0\)且\(\nu _{2}=3\)。