通過貝葉斯等方式實現分類器時，需要首先得到先驗概率以及類條件概率密度。但在實際的應用中，先驗概率與類條件概率密度並不能直接獲得，它們都需要通過估計的方式來求得一個近似解。若先驗概率的分布形式已知（或可以假設為某個分布），但分布的參數未知，則可以通過極大似然或者貝葉斯來獲得對於參數 ...

聯合概率的乘法公式： （如果隨機變量是獨立的，則） 由乘法公式可得條件概率公式：， ， 全概率公式：，其中 （，則，則可輕易推導出上式） 貝葉斯公式： 又名后驗概率公式、逆概率公式：后驗概率＝似然函數×先驗概率/證據因子。解釋如下，假設 ...

個人理解： 最大似然估計：只是對似然的處理，概率乘積轉概率密度乘積，取對數轉加，求導得估計值； 貝葉斯估計：由先驗乘似然得后驗， 這個就是貝葉斯學習過程：在前一個訓練集合的后驗概率上，乘以新的測試樣本點的似然估計，得到新的集合的后驗概率，這樣，相當於成為了的先驗概率分布： ； 原文 ...

極大似然估計和朴素貝葉斯都是運用概率的思想對參數進行估計去解決問題的，二者具有一定的相似性，在初學時經常會搞不清二者的，在這里首先對二者的分類原理進行介紹，然后比較一下二者的異同點。 1.極大似然估計（maximum likelihood estimation） 貝葉斯公式 事件 ...

其實這是我之前最想第一篇來寫的隨筆了，今天就先把這一部分寫一寫吧。 1.問題 　　一個醫療診斷問題有兩個可選的假設：病人有癌症、病人無癌症可用數據來自化驗結果：陰性和陽性。有先驗知識：在所有人口中 ...

問題：這些估計都是干嘛用的？它們存在的意義的是什么？ 有一個受損的骰子，看起來它和正常的骰子一樣，但實際上因為受損導致各個結果出現的概率不再是均勻的 \(\frac{1}{6}\) 了。我們想知道這個受損的骰子各個結果出現的實際概率。准確的實際概率我們可能永遠無法精確的表示出 ...

貝葉斯估計、最大似然估計(MLE)、最大后驗概率估計(MAP)這幾個概念在機器學習和深度學習中經常碰到，讀文章的時候還感覺挺明白，但獨立思考時經常會傻傻分不清楚(😭)，因此希望通過本文對其進行總結。 2. 背景知識 注：由於概率 ...

1、貝葉斯公式 　　這三種方法都和貝葉斯公式有關，所以我們先來了解下貝葉斯公式： 　　　　 　　每一項的表示如下： 　　　　 　　posterior：通過樣本X得到參數的概率，也就是后驗概率。 　　likehood：通過參數得到樣本X的概率，似然函數，通常就是我們的數據集的表現 ...