1. 點估計與優良性
點估計
總體 X 的分布函數形式已知，但它的一個或多個參數未知，借助總體的一個樣本來估計總體未知參數的值的問題稱為點估計。
點估計問題就是要構建一個適當的統計量 θ-hat（X1、.. 、Xn），用它的觀察值 θ-hat (x1、.. 、 xn)來估計未知參數 θ。
pass
無偏性
若估計量 θ-hat = θ（X1、.. 、Xn）的數學期望 E（θ-hat）存在，且對任意 θ 有 E（θ-hat） = θ，則稱 θ-hat 是 θ 的無偏估計量。
無偏估計量的實際意義：無系統誤差。
若 limE(θ-hat) = θ，則稱 θ-hat 是 θ 的漸進無偏估計。
特別地，無論總體 X 服從什么分布，只有它的數學期望存在，樣本均值pass總是總體的數學期望 EX 的無偏估計量。
修正樣本方差 pass 是總體方差 σ2 的無偏估計量。
一般地，一個參數的無偏估計量不唯一。
問題：對於同一參數的的多個無偏估計量，如何評價它們的優劣？
均方誤差准則
pass
均方誤差
MSE(θ-hat, θ) = E(θ-hat - θ)2
這個還是無法找到最優估計。
有效性
若 D(θ1-hat) < D(θ2-hat)， 則稱 θ1-hat 比 θ2-hat 有效。
最小方差無偏估計
如果存在 θ 的一個無偏估計量θ0-hat，使得對於 θ 的任一方差存在的無偏估計量 θ-hat ，都有 D(θ0-hat) < D(θ-hat)，則稱 θ0-hat 是 θ 的最小方差無偏估計 MVUE。
最小方差無偏估計是一種最優估計。
基於充分完備統計量的無偏估計一定是 MVUE。
最小方差無偏估計的判別法
pass
注：1. 此定理是最小方差無偏估計的判別法，但無法尋求最小方差無偏估計的存在性；
2. 由於L(X) 的任意性，因而很難利用定理判別。
3. 利用判別定理進行判別，非常復雜，況且也無法利用此定理去尋求MVUE。
充分完備統計量是解決上述困難的有力工具。
最小方差無偏估計計算方法
1. 構建一個充分完備統計量 T(X1、.. 、Xn) 和一個 θ 的無偏估計 θ-hat。
2. 計算 E( θ-hat | T )， 其結果即為 MVUE。
有效估計
上面介紹了最小方差無偏估計以及相應的尋求方法。自然會引入另一個問題：無偏估計的方差是否可以任意的小？是否有下界？Rao-Cramer不等式可以回答此問題。
Fisher 信息量
pass
Rao-Cramer不等式
pass
羅－克拉美下界
pass
由此可見，統計量的方差不可以無限的小，存在下界。當無偏估計的方差達到下界，它一定是MVUE.。但最小方差無偏估計不一定達到下界。
最小方差無偏估計量的方差不一定能夠達到羅克拉美下 界。為此，引入有效估計的概念。
有效估計
pass
如果 θ-hat 是 θ 的有效估計，則它也是最小方差無偏估計。但反之卻不成立。
漸進有效估計
pass
相合估計（一致估計）
前面的估計的評價標准主要討論了估計的期望和方差的特性，這個標准是從估計的極限特性給予說明。
θn-hat 依概率收斂於 θ ，則稱 θn-hat 為 θ 的相合估計量。
相合估計是對估計量的一個基本要求。
相合估計的判別法則
lim E(θ-hat ) = θ, 且 lim D(θ-hat ) = 0, 則 θ-hat 是 θ 的相合估計。
相合估計的性質
pass
漸進正態估計
pass
漸進正態估計一定是相合估計。
2. 點估計量的求法
由於估計量是樣本的函數,是隨機變量, 故對不同的樣本值, 得到的參數值往往不同, 因此如何求得參數 θ 的估計量便是問題的關鍵所在。常用以下三種方法：
2.1 矩估計
基本思想：用樣本矩估計總體矩，用樣本矩的連續函 數來估計總體矩的連續函數。
理論依據： 大數定律。
記：
總體 k 階原點矩 αk = E ( Xk )
樣本 k 階原點矩 Ak =
總體 k 階中心矩 μk = E [ X - E X ]k
樣本 k 階中心矩 Bk =
設總體 X 的分布函數為 F(x； θ1 ，... ，θm)， m 個待估參數，αk = E ( Xk )存在，（X1、.. 、Xn）為來自總體 X 的簡單隨機樣本。
具體步驟
pass
總體均值與方差的矩估計量的表達式不因不同的總體分布而異，一般地：用樣本均值 作為總體 X 的均值的矩估計，用樣本二階中心矩 作為總體的方差的矩估計。
同一參數的矩估計量可不唯一。
小結
優點：簡單易行, 並不需要事先知道總體是什么分布。
缺點：當總體類型已知時，沒有充分利用分布提供的信息。 一般場合下, 矩估計量不具有唯一性。其主要原因在於建立矩法方程時，選取哪些總體矩用相應樣本矩代替帶有一定的隨意性。
2.2 最大似然估計
最大似然估計法是在總體類型已知條件下使用的一種參數估計方法。
似然函數
pass
最大似然估計
選取使似然函數 L(θ) 取得最大值的 θ-hat 作為未知參數 θ 的估計值。
pass
求解步驟
1. 寫出似然函數
pass
2. 取對數
pass
3.對 θ 求導，令導函數為0， 解方程即得未知參數 θ 的最大似然估計值 θ-hat
pass
對於分布中含有多個未知參數的情況，對每個未知參數求偏導。
性質
pass
小結
最大似然估計充分利用了樣本中包含的參數的信息，因而是一種比較好的估計， 通常情況下，最大似然估計不僅是相合估計，而且是漸近正態估計。
2.3 用次序統計量估計
1. 用樣本中位數與樣本極差估計參數
由於樣本中位數與樣本極差計算 便，因而通常情況下，可以用樣本中位數估計總體期望，用樣本極差估計總體的標准差。
3. 區間估計
點估計未能給出估計量 θ-hat 與真值 θ 的誤差及估計的可靠程度。區間估計解決了上述問題。
置信度與置信區間
pass
求置信區間的一般步驟
pass
正態總體的置信區間
pass
單側置信區間
pass
非正態總體參數的區間估計
pass