通過貝葉斯等方式實現分類器時，需要首先得到先驗概率以及類條件概率密度。但在實際的應用中，先驗概率與類條件概率密度並不能直接獲得，它們都需要通過估計的方式來求得一個近似解。若先驗概率的分布形式已知（或可以假設為某個分布），但分布的參數未知，則可以通過極大似然或者貝葉斯來獲得對於參數 ...

積分符號只有下限是表示該變量的空間范圍 記作x~f(x) 貝葉斯公式 乘法公式 AB同時發生的概率是 A發生的概率 乘 在A條件下B發生的概率。 反之，也是 B發生的概率 乘 在B發生條件下A發生的概率。 三個球：紅，紅，藍 ​ 1 ， 2 ，1 摸到既是1又是紅的球 ...

　　　　 　　極大似然估計提供了一種給定觀察數據來評估模型參數的方法，即：“模型已定，參數未知”。即在頻率學派中，參數固定了，預測 值也就固定了。最大后驗概率是貝葉斯學派在完全貝葉斯不一定可行后采用的一種近似手。如果數據量足夠大，最大后驗概率和最大似 然估計趨向於一致，如果數據為0,最大后驗 ...

個人理解： 最大似然估計：只是對似然的處理，概率乘積轉概率密度乘積，取對數轉加，求導得估計值； 貝葉斯估計：由先驗乘似然得后驗， 這個就是貝葉斯學習過程：在前一個訓練集合的后驗概率上，乘以新的測試樣本點的似然估計，得到新的集合的后驗概率，這樣，相當於成為了的先驗概率分布： ； 原文 ...

，例如極大似然估計、最大后驗估計、貝葉斯推斷、最大熵估計，等等。雖然方法各不相同，但實際上背后的道理大體一樣。 ...

1. 統計決策的基本概念 　　20世紀40年代，Wald提出了把統計推斷問題看成是人與自然的一種博弈過程，由此建立了統計決策理論。 統計決策問題的三個要素 　　在前幾章講的統計問題，都可以歸結為一個統計決策問題，也就是建立所謂的統計決策函數，統計決策問題由三個因素組成： 樣本空間和分布族 ...

其實這是我之前最想第一篇來寫的隨筆了，今天就先把這一部分寫一寫吧。 1.問題 　　一個醫療診斷問題有兩個可選的假設：病人有癌症、病人無癌症可用數據來自化驗結果：陰性和陽性。有先驗知識：在所有人口中 ...

問題：這些估計都是干嘛用的？它們存在的意義的是什么？ 有一個受損的骰子，看起來它和正常的骰子一樣，但實際上因為受損導致各個結果出現的概率不再是均勻的 \(\frac{1}{6}\) 了。我們想知道這個受損的骰子各個結果出現的實際概率。准確的實際概率我們可能永遠無法精確的表示出 ...