朴素貝葉斯法(一)——貝葉斯定理

最為廣泛的兩種分類模型是決策樹模型(Decision Tree Model)和朴素貝葉斯模型（Naive Bayesian Model，NBC）。

貝葉斯定理是在250多年前發明的算法，在信息領域內有着無與倫比的地位。貝葉斯分類是一系列分類算法的總稱，這類算法均以貝葉斯定理為基礎，故統稱為貝葉斯分類。朴素貝葉斯算法（Naive Bayesian) 是其中應用最為廣泛的分類算法之一。

 

貝葉斯定理

描述

貝葉斯定理是關於隨機事件A和B的條件概率的一則定理。

在貝葉斯定理中，每個名詞都有約定俗成的名稱：

• P(A)是A的先驗概率。之所以稱為"先驗"是因為它不考慮任何B方面的因素。
• P(A|B) 由於得自B的取值而被稱作A的后驗概率。
• P(B|A) 由於得自A的取值而被稱作B的后驗概率。
• P(B)是B的先驗概率，也作標准化常量。

按這些術語，Bayes定理可表述為：

后驗概率 = (相似度*先驗概率) / 標准化常量

P(B|A)稱為“可能性函數”，這是個調整因子，使得預估計概率更接近真實概率。

所以，條件概率可以理解為式子：

       后驗概率 = 先驗概率 * 調整因子

這就是貝葉斯推斷的含義：我們先預測一個“先驗概率”，然后加入實驗結果，看這個實驗到底是增強還是削弱了“先驗概率”，由此得到更加真實的“后驗概率”。

在這里，如果“可能性函數”P(B|A)>1,意味着“先驗概率”被增強，事件A發生的可能性增大；如果“可能性函數”P(B|A)=1，意味着事件B無助於判斷事件A的可能性；如果“可能性函數”P(B|A)<1，意味着“先驗概率”被減弱，事件A發生的可能性變小。

推導

根據條件概率的定義。在事件B發生的條件下事件A發生的概率是

。

同樣地，在事件A發生的條件下事件B發生的概率

整理與合並這兩個方程式，我們可以找到

這個引理有時稱作概率乘法規則。上式兩邊同除以P(B)，若P(B)是非零的，我們可以得到貝葉斯定理:

貝葉斯定理通常可以再寫成下面的形式：

其中A^C是A的補集。故上式亦可寫成：

在更一般化的情況，假設{A_i}是事件集合里的部分集合，對於任意的A_i，貝葉斯定理可用下式表示：

案例

                   30                                                                                                                                               20     

                   10                                                                                                                                               20

                                                                                                                                                       

 

暗箱操作，現在從其中一個箱子中得到一個綠球，問是從黑箱中取得的概率是？

分析：假定“從黑箱中取球”為事件A，“從紅箱中取球”為事件B，“取到綠球”為事件M.

則問題為求P(A|M)

由貝葉斯定理得：P(A|M) = P(A) * P(M|A) / P(M)

= P(A) * P(M|A) /[ P(M|A)*P(A) + P(M|B) *P(B)]

其中，P(A)=P(B) = 1/2, P(M|A) = 3/4, P(M|B) = 1/2

結果為0.6，表明，來自黑箱的概率為0.6。也就是得到綠球后，事件A（取自於黑箱）的可能性增強了。