事實上，概率模型的訓練過程就是參數估計(parameter estimation)的過程。對於參數的估計，統計學界的兩個學派提供了不同的解決方案：頻率主義學派(Frequentist)認為參數雖然未知，但卻是客觀存在的固定值，因此，可通過優化似然函數等准則來確定參數值；貝葉斯學派(Bayesian ...

一、 “探測儀，如果我問一個貝葉斯學派的統計學家如果……”“[擲]我是一個中微子探測儀，不是迷宮守衛。老實說，你是不是腦子壞掉了。”“[擲]...yes” 迷宮守衛的梗：說迷宮里有2條路，分別通向目的地和陷阱，路口各有一個守衛，一個只說真話一個只說假話，他們都知道路后面是什么以及彼此說話 ...

對於技術應用人員來說，我們更看重方法的應用，但有時候對知識的背景做一些了解，我覺得還是挺有必要的，能幫助我們理解一些東西。這篇博文里，不會呈現任何計算公式，只是討論一下貝葉斯學派與頻率學派之間的問題。 貝葉斯學派與頻率學派是當今數理統計學的兩大學派，基於各自的理論 ...

這里的頻率學派，認為參數θ是一個常量 ，只有屬於置信區間，或者∉置信區間，沒有屬於這個某個置信區間的概率是0.9的說法。 第一個意思是 整體分布的一個參數θ，取θ的某一個先驗分布，計算在該先驗分布的條件下的貝葉斯估計的值不能等於該θ在整體分布下面的值 ...

頻率學派（古典學派）和貝葉斯學派是數理統計領域的兩大流派。 這兩大流派對世界的認知有本質的不同：頻率學派認為世界是確定的，有一個本體，這個本體的真值是不變的，我們的目標就是要找到這個真值或真值所在的范圍；而貝葉斯學派認為世界是不確定的，人們對世界先有一個預判，而后通過觀測數據對這個預判做調整 ...

貝葉斯方法有着非常廣泛的應用，但是初學者容易被里面的概率公式的給嚇到，以至於望而卻步。所以有大師專門寫個tutorial，命名為“bayesian inference with tears”。 我本人也深受其苦，多次嘗試學習而不得其門而入。終於有一天，一種醍醐灌頂的感覺在腦海中出現，思路一下子清晰 ...

頻率派 \(vs\) 貝葉斯派 一、前言 在使用各種概率模型時，比如極大似然估計 \(logP(X|\theta)\)，已經習慣這么寫了，可是為什么這么寫？為什么X在前，為什么 \(\theta\) 在后，分別代表了什么？這些更深一層的邏輯和理由不是特別清晰，故此梳理一下頻率 ...

全概率公式 設 $B_{1},B_{2},...,B_{n}$ 是一個完備事件組且都有正概率，則對任一個事件 $A$ 有 $$P(A) = \sum_{i=1}^{n}P(AB_{i}) = \sum_{i=1}^{n}P(B_{i})P(A|B_{i})$$ 將復雜的事件划分為簡單 ...