有偏估計和無偏估計


無偏和有偏

  本質來講,無偏/無偏估計是指估算統計量的公式,無偏估計就是可以預見,多次采樣計算的統計量(根據估算公式獲得)是在真實值左右兩邊。類似於正態分布的鍾型圖形。比如對於均值估計:

mean = (1/n)Σxi

  一定有的比μ大,有的比μ小。

  那么對於有偏估計,就是多次采樣,估算的統計量將會在真實值的一側(都是大於或者都是小於真實值)。比如對於方差公式:

S² = (1/n)Σ(xi - m)

  從上面的式子我們可以知道,m是一個固定值,當且僅當m = mean(x)的時候S²取得最小值,這意味着,如果真實值μ ≠ mean(x),那么必然有σ² < S²,這意味着S²就是一個有偏估計,因為S²都是分布在小於σ²的左側。

  另外從數學角度來講,均值能夠保持比較好的無偏性是因為均值計算過程本質還是一個線性過程,這個就是無偏;但是對於方差而言並不是線性模型,所以有偏。

 

孰優孰劣

  但是有一點,無偏估計並不一定比有偏估計更加"有效",因為所謂估算有效是指更加靠近真實值,這個靠近就是通過S²來體現出來,如果統計量估算值雖然有偏,但是更加靠近真實值,那么也是更加有效地;如下圖所示:

 

  左圖是無偏的,結果圍繞"真實值",右側是有偏的,結果偏向於"真實值"一側,但是毫無疑問有偏的效果更好一些,因為更加接近真實值。

 

一致性

  隨着樣本的增加,S²值將會越來越接近σ²,其實如果樣本量非常大,是否有偏已經不重要,因為其實大樣本情況下無論是有偏還是無偏,方差都會小到接近真實值。

 

附錄

  方差的有偏無偏估計

  無偏估計:

  S² = (1/n)Σ(x - μ)² ----(1)

  S² = (1/n-1)Σ(x - mean(x)) -----(2)

  有偏估計:

  S² = (1/n)Σ(x - mean(x)) --------(3)

  請注意(1)和(3)式,只是相差了一個減數,卻造成了有偏和無偏,就是因為一個是固定值,一個是不定值(每次采樣都不一樣)。

  下面我們來看一下方差無偏公式的推導過程:

 

 

 

 

 

參考

 

https://www.matongxue.com/madocs/808.html 靶圖就是參考此篇文章

https://www.matongxue.com/madocs/607.html 這篇文章也是神作,解釋清楚了什么是有偏,什么是無偏,另外附錄中推導無偏方差的過程就是來自此文

https://spaces.ac.cn/archives/6747 數據科學網站,其中線性和非線性部分就是得子此篇文章,引發了我的對於究竟什么是分布的思考

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM