《機器學習(周志華)》筆記--貝葉斯分類器（1）--貝葉斯決策：條件概率、聯合概率、全概率、貝葉斯公式

一、貝葉斯決策

　　貝葉斯決策論是概率框架下實施決策的基本方法，對分類任務來說，在所有相關概率已知的理想情形下，貝葉斯考慮如何基於這些概率和誤判損失來選擇最優的類別標記。

      朴素貝葉斯分類算法是基於貝葉斯定理與特征條件獨立假設的分類方法。

1、條件概率

　　概率指的是某一事件A發生的可能性，表示為P(A)。

　　條件概率指的是某一事件A已經發生了條件下，另一事件B發生的可能性，表示為P(B|A)。

　　　　今天有25%的可能性下雨，即P(下雨)=0.25;

　　　　今天75%的可能性是晴天，即P(晴天)=0.75;

　　　　如果下雨，我有75%的可能性穿外套，即P(穿外套|下雨)=0.75;

　　　　如果下雨，我有25%的可能性穿T恤，即P(穿T恤|下雨)=0.25;

　　從上述例子可以看出，條件概率描述的是|右邊的事件已經發生之后，左邊的事件發生的可能性，而不是兩個事件同時發生的可能性！

2、聯合概率

　　設A，B是兩個事件，且P(A)>0，則

　　　　P(B|A)=P(AB)/P(A)

　　聯合概率：兩個事件同時發生的概率

　　　　P(AB)=P(B|A)*P(A)

　　　　當A、B獨立時：P(AB)=P(A)*P(B)

　　例：

　　　　現在有一批產品共100件，次品有10件，從中不放回地抽取2次，每次取1件。計算第一次為次品，第二次為正品的概率。

　　解：

　　　　假設事件A為第一次為次品，事件B為第二次為正品。則P(AB)=P(A)*P(B|A)=(10/100)*(90/99)=0.091

3、全概率

　　全概率就是表示達到某個目的，有多種方式（或者造成某種結果，有多種原因），問達到目的的概率是多少（造成這種結果的概率是多少）

　　若事件B₁ ,B₂,…,B_n 兩兩互不相容，並且其概率和為1。那么對於任意一個事件A都滿足：

　　　　　　

 　　例：

　　　　小明從家到學校有三條路：L1、L2、L3，選擇每條路的概率分別為：0.5，0.3，0.2，每條路通暢的概率分別為：0.2，0.4，0.7。　　

　　　   計算小明不遲到（不擁堵就不會遲到）的概率。

　　解：

　　　　A，B1，B2，B3分別表示小明沒有遲到，小明選擇道路L1，道路L2，道路L3，則

　　　　P(A)=P(AB₁)+P(AB₂)+P(AB₃)

       　　 　　=P(A|B₁)*P(B₁)+P(A|B₂)*P(B₂)+P(A|B₃)*P(B₃)

       　　 　　=0.2*0.5+0.4*0.3+0.7*0.2=0.36

 4、貝葉斯公式

 　　貝葉斯公式：已知事件已經發生了，計算引發該事件的各種原因的概率。

　　　　　　　　　　　

　　例：

　　　　設某工廠有甲、乙、丙三個車間生產同一種產品，已知各車間的產量分別占全廠產量的25%，35%，40%，而且各車間的次品率分別為5%，4%，2%，現從待出廠的產品中檢查出一個次品，試判斷它是由甲車間生產的概率。

　　解：

　　　　A表示產品為次品，B₁，B₂，B₃表示產品由甲、乙、丙三個車間生產，求P(B₁|A)

　　　　P(A|B₁)*P(B₁)=0.05*0.25=0.0125

　　　　P(A)=P(A|B₁)*P(B₁)+P(A|B₂)*P(B₂)+P(A|B₃)*P(B₃)

      　　　　  =0.05*0.25+0.04*0.35+0.02*0.4=0.0345

　　　　P(B₁|A)=P(A|B₁)*P(B₁)/P(A)=0.362