一、
“探測儀，如果我問一個貝葉斯學派的統計學家如果……”
“[擲]我是一個中微子探測儀，不是迷宮守衛。老實說，你是不是腦子壞掉了。”
“[擲]...yes”
迷宮守衛的梗：
說迷宮里有2條路，分別通向目的地和陷阱，路口各有一個守衛，一個只說真話一個只說假話，他們都知道路后面是什么以及彼此說話的真假，這時你只能選擇其中一個人，問一個問題，如何確保走對路。
================================================
二、頻率學派(Frequentists) 貝葉斯學派(Bayesians)
拉普拉斯說: “概率論只不過是把常識用數學公式表達了出來.” 我們的數學模型都不過是對客觀事件規律的一個總結. 貝葉斯定理正是如此.
- 頻率學派認為抽樣是無限的.在無限次抽樣當中,對於決策的規則可以很精確;而貝葉斯學派則認為世界無時無刻不在改變，未知的變量和事件都有一定的概率。這種概率會隨時改變這個世界的狀態(前面提到的后驗概率是先驗概率的修正)。
- 頻率學派認為模型的參數是固定的, 一個模型在無數次的抽樣過后, 所有的參數都應該是一樣的; 而貝葉斯學派則認為數據應該是固定的. 我們的規律從我們對這個世界的觀察和認識中得來. 我們看到的即是真實的, 正確的. 應該從觀測的事物來估計參數.
- 頻率學派認為任何模型都不存在先驗; 而先驗在貝葉斯學派當中有着重要的作用.
- 頻率學派主張的是一種評價范式. 它沒有先驗, 更加的客觀. 貝葉斯學派主張的是一種模型方法. 通過建立未知參數的模型. 在沒有觀測到樣本之前, 一切參數都是不確定的. 使用觀測的樣本值來估計參數. 得到的參數帶入模型使當前模型最佳的擬合觀測到的數據.
https://blog-charliemorning.rhcloud.com/talk-about-navie-bayes/
三、貝葉斯統計
貝葉斯推斷方法的關鍵是任何推斷都必須且只須根據后驗分布，而不能再涉及樣本分布。
貝葉斯學派與頻率學派爭論的焦點在於先驗分布。貝葉斯學派認為先驗分布可以是主觀的，它不需要有頻率解釋。而頻率學派則認為，只有在先驗分布有一種不依賴主觀的意義，且能根據適當的理論或以往的經驗決定時，才允許在統計推斷中使用先驗分布，否則就會喪失客觀性。
第一，頻率論先建立無效模型， 然后計算在此無效模型的前提下得到從實際數據中得來的參數的可能性，假如這個可能性很小，我們就認為無效模型不成立，從而選擇備擇模型；而貝葉斯論關注於 在當前數據的前提下，某個模型成立的概率，得到的是具體的概率值，而該概率值不用於對某個假說的判斷。
第二，頻率論對概率的解釋是：一個事件在一段較長的時間內發生的頻率；貝葉斯論對概率的解釋是人們對某事件是否發生的認可程度。
第三，貝葉斯論善於利用過去的知識和抽樣數據，而頻率論僅僅利用抽樣數據。因此貝葉斯推論中前一次得到的后驗概率分布可以作為后一次的先驗概率。
第四，對置信區間的不同解釋：頻率論中95%置信區間解釋為：100次抽樣計算得到的100個置信區間中有95個包含了總體參數，5個沒有，而不能解釋成在一次抽樣中有95%的可能性包含總體參數。這是由於經典統計中總體的參數是被當作一個恆定值的，不能從概率的角度解釋； 貝葉斯論的置信區間恰好可以解釋成概率的形式，因為貝葉斯分析中，總體參數是個隨機變量，而非恆定值。
MCMC（Markov Chain Monte Carlo）方法提供了從后驗分布直接抽樣的途徑，為貝葉斯統計方法的實際應用帶來了革命性的突破。
http://blog.sina.com.cn/s/blog_60864c1b0100dos3.html
=============================================
四、辯論
發信人: dychdych (sir), 信區: Statistics
標 題: Frequentist and Bayesian
發信站: Unknown Space - 未名空間 (Fri Nov 14 19:48:02 2003) WWW-POST
有人學了多年統計說不清楚頻率學派與貝葉斯學派的區別，什么主觀對客觀啦，什么似然
函數對后驗概率啦，那些都是現象，不是本質。兩者本質上的區別是：頻率學派把未知參
數看作普通變量，把樣本看作隨機變量；而貝葉斯學派把一切變量看作隨機變量。
數學與統計學最大的區別在於數學研究的是變量，而統計學研究的是隨機變量。對統計學
家來說，把一切變量看作隨機變量是更自然的事。
如果說貝葉斯學派是純粹的統計學家，那么頻率學派就是數學統計學家，尚處在從數學向
統計學過渡的中間階段，好比蝌蚪。既然你已經從魚變成了青蛙，為什么還要保留尾巴呢
？
如果一切變量都是隨機變量的話，那么頻率學派的很多概念就失去了意義。比如無偏估計
。
若E(T)=t則說統計量T是未知參數t的unbiased estimator。如果參數t是隨機變量，那個
等號就毫無意義，因為統計量T的期望E(T)是一個數量，它不可能等於一個隨機變量，除
了trivial的情況下。
另外，在對置信區間的含義作解釋時，也不用像頻率學派那樣費勁。什么未知參數是未知
而固定的值，而區間是隨機區間，因為區間的端點是統計量，因而也是隨機變量，每次隨
着觀測樣本的不同，我們所得到的區間估計也不一樣，當試驗次數足夠大時，大約有95%
的區間包含那個固定的未知參數。多么麻煩！為了能夠自圓其說而繞來繞去。
歷史上貝葉斯學派一直沉寂主要原因是貝葉斯學派要計算的后驗概率非常煩瑣，推導來推
導去，最后很多結果沒有顯式表示。在計算機高度發展的今天以及各種蒙特卡羅數值算法
的引入與普及，貝葉斯學派終將占據統治地位，那時的統計學將是純粹的統計學。
發信人: yeren (野人), 信區: Statistics
標 題: Re: Frequentist and Bayesian
發信站: Unknown Space - 未名空間 (Fri Nov 14 22:32:55 2003) WWW-POST
呵呵，我不同意你的觀點。
先申明我也是Bayesian(or Empirical Bayesian).
頻率學派與貝葉斯學派的區別主要是是否允許先驗概率分布的使用。
頻率學派並不把所有參數看作普通變量（我想應該是known or unknown fixed
variable,姑且用你的名詞），比如hierarchical model和random effect model。
而貝葉斯學派在先驗分布中也有普通變量,比如hyperprior parameter。
你對無偏估計的論斷我也不同意，因為你的定義本身不合理。如果t是隨機變量，
你可以用E[T|t]=t,或者在由邊際分布得到E[T]=m，一個獨立於t的量。
貝葉斯的好處在於貝葉斯的推斷問題相對簡單，點估計，區間估計和假設檢驗
全部可以由后驗分布得到，尤其是計算機技術的發展和MCMC方法的出現使得
非共軛后驗分布的使用和計算成為可能。而且它的理論架構天然符合人漸進
的認識規律。我今天早上剛好還想到可以用“時時勤拂拭，莫使惹塵埃”來
形容貝葉斯學派，恰不恰當大家看看。
但是貝葉斯(Full Bayesian)的問題在於，無信息先驗已經被證明是不存在的。所有的先
驗
在參數變換后都不可避免的帶有主觀性。而頻率學派用最大似然估計(MLE)則沒有這個
問題。頻率學派的困難在於如何利用前人已有經驗和樞軸統計量的構造。
幾十年來兩個學派爭論不休，都曾經相互斷言對方的必將滅亡，但目前都還看不到
跡象。而這期間兩者的折衷經驗貝葉斯倒發展起來了。經驗貝葉斯與傳統貝葉斯的
不同是，它用數據來估計(marginal maximum likelihood estimator,MMLE)先驗
分布中的參數。因此它為一些頻率學派學者所接受。
除了貝葉斯學派和頻率學派，還有似然學派。似然學派主張用MLE和LR(likelihood
ratio)
作為推斷基礎，廢除廣為使用的p-value。但是似然學派方法應用太難，好象目前看不到
什么曙光（對似然學派我也太清楚，歡迎批駁）。
http://aimit.blog.edu.cn/2009/230160.html
=================================================
五、討論
http://www.douban.com/group/topic/16719644/
http://www.douban.com/group/topic/16951058/
往大里說，世界觀就不同，頻率派認為參數是客觀存在，不會改變，雖然未知，但卻是固定值；貝葉斯派則認為參數是隨機值，因為沒有觀察到，那么和是一個隨機數也沒有什么區別，因此參數也可以有分布，個人認為這個和量子力學某些觀點不謀而合。
往小處說，頻率派最常關心的是似然函數，而貝葉斯派最常關心的是后驗分布。我們會發現，后驗分布其實就是似然函數乘以先驗分布再 normalize一下使其積分到1。因此兩者的很多方法都是相通的。
貝葉斯派因為所有的參數都是隨機變量，都有分布，因此可以使用一些基於采樣的方法 （如MCMC）使得我們更容易構建復雜模型。頻率派的優點則是沒有假設一個先驗分布，因此更加客觀，也更加無偏，在一些保守的領域（比如制葯業、法律）比 貝葉斯方法更受到信任。