極大似然估計學習時總會覺得有點不可思議，為什么可以這么做，什么情況才可以用極大似然估計。本文旨在通俗理解MLE(Maximum Likelihood Estimate)。 一、極大似然估計的思想與舉例 舉個簡單的栗子：在一個盒子里有白色黑色小球若干個，每次有放回地從里面哪一個球，已知抽 ...

一、為什么要估計（estimate） 在概率，統計學中，我們所要觀測的數據往往是很大的，(比如統計全國身高情況）我們幾乎不可能去統計如此之多的值。這時候，就需要用到估計了。我們先抽取樣本，然后通過統計樣本的情況，去估計總體。下面是數學中常用到的術語： 　　·總體（Populantion ...

在之前的學習中，主要基於充分統計量給出點估計，並且注重於點估計的無偏性與相合性。然而，僅有這兩個性質是不足的，無偏性只能保證統計量的均值與待估參數一致，卻無法控制統計量可能偏離待估參數的程度；相合性只能在大樣本下保證統計量到均值的收斂性，但卻對小樣本情形束手無策。今天我們將注重於統計量的有效性 ...

極大似然估計（MLE）和極大后驗估計（MAP）分別是頻率學派和貝葉斯學派（統計學者分為兩大學派，頻率學派認為參數是非隨機的，而貝葉斯學派認為參數也是隨機變量）的參數估計方法，下面我們以線性回歸分析為例，分別簡要介紹MLE和MAP，兩者的關系以及分別與最小二乘回歸、正則化最小二乘回歸分析的關系 ...

上篇文章中，我們探討了區間估計的相關基本概念，也提出了Neyman置信區間，今天我們將聚焦於如何尋找置信區間的問題上，並對最常用的總體：正態總體給出一些置信區間的找法。為了方便起見，以下我們都讓置信水平為\(1-\alpha\)。 由於本系列為我獨自完成的，缺少審閱，如果有任何錯誤，歡迎在評論區 ...

注：點估計是參數估計中的一種。點估計常用的方法有兩種：矩估計和最大似然估計。之所以要做估計，最本質的問題是我們能獲得的信息量（樣本的數量）有限，因此只能在有限的信息中，用合理的方法、在可接受的精度或置信度下做近似計算，以便對總體有一個大概的認識，也就是將某種在有限樣本中獲得的規律，推廣到更大的樣本 ...

的討論給出了常用分布的參數點估計，並介紹了兩種常用於尋找點估計量的方法——矩法與極大似然法；最后，我們對 ...

注：區間估計是除點估計之外的另一類參數估計。相對於點估計只給出一個具體的數值，區間估計能夠給出一個估計的范圍。 0. 點估計 vs 區間估計 根據具體樣本觀察值，點估計提供了一個明確的數值。但是這種判斷的把握有多大，點估計本身並沒有給出。區間估計就是為了彌補點估計的這種不足而提 ...