機器學習（五）—朴素貝葉斯

　　最近一直在看機器學習相關的算法，今天我們學習一種基於概率論的分類算法—朴素貝葉斯。本文在對朴素貝葉斯進行簡單介紹之后，通過Python編程加以實現。

一  朴素貝葉斯概述                                                              

 

1 前言　

　“貝葉斯”又是一個響當當的名字，剛開始接觸的是貝葉斯定理。貝葉斯分類器是一類分類算法的總稱，是兩種最為廣泛的分類模型之一，另一種就是上篇中的決策樹了。貝葉斯分類均以貝葉斯定理為基礎，朴素貝葉斯是貝葉斯分類中最簡單的一種，是基於貝葉斯定理與特征條件獨立假設的分類方法。

　　之前所學習的基於分類的K-means和決策樹都是給出了分類的明確答案，但是分類勢必是會產生錯誤結果，結合概率論的相關知識，我們在分類時，可以給出類別估計值，進而將賦予數據最優類別猜測。就分類而言，有時使用概率要比那些硬規則有效的多，貝葉斯准則和貝葉斯定理就是利用已知值來估計未知概率的方法。據此，我們可以使用概率論進行分類，首先從一個最簡單的概率分類器開始，進而給出一些假設來學習朴素貝葉斯分類器。之所以稱之為“朴素”，是因為在整個過程當中我們都使用的是最原始，最簡單的假設。貝葉斯算法的基礎是概率問題，分類的原理是通過某對象的先驗概率，利用貝葉斯公式計算出它的后驗概率（對象屬於某一類的概率），選取具有最大后驗概率的類作為該對象所屬的類。就像那個特別有名的例子：在大街上碰到一個黑人，要讓你猜測他是哪個洲的，你肯定首先會說非洲，為什么呢，因為黑人中非洲最多，在這里我們就選取了出現概率最大的類別。

2. 貝葉斯定理

　　貝葉斯定理對大家而言，應該都不會太陌生，今天再溫習一下。首先說一下與貝葉斯定理密不可分的條件概率：P(A|B) = P(AB) / P(B),其中P(A|B)表示的B發生的情況下A發生的概率，這就是條件概率。

　　為什么要提出貝葉斯定理呢？因為現實生活中的很多問題，都是很容易求出P(A|B)，但P(B|A)卻很難求出，而P(B|A)卻相對更有用，由此貝葉斯定理產生。

定義為：  

3.朴素貝葉斯分類器

　　分類的原理是通過某對象的先驗概率，利用貝葉斯公式計算出它的后驗概率（對象屬於某一類的概率），選取具有最大后驗概率的類作為該對象所屬的類。把Ａ和Ｂ看作是隨機變量，那么P(B|A)就是Ｂ的后驗概率，P(B)是B的先驗概率。

對於朴素貝葉斯分類器，要做出兩個假設：

（1）特征之間相互獨立，即一個特征的出現於其它相鄰的特征並無關系；

（2）每個特征同等重要。

 

二 使用朴素貝葉斯進行文檔分類                                          

　　機器學習的一個重要應用就是文檔的分類，整個文檔看成是實例，而文檔中的元素相應的構成特征。我們可以觀察文檔中出現的詞，並把每個詞的出現與否相應的作為特征，進而構造分類器對文檔進行分類。在這里我們一個留言社區為例，為了過濾掉那些內容不當的侮辱性言論，對此我們可以建立兩個類別：侮辱性和非侮辱性，分別用0和1來表示。下面用python編程實現：

1  文本中獲取特征

 

#coding:utf-8
from numpy import *
import sys
sys.path.append("E:\....")

##從文本中構建向量
def loadDataSet():
    postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'],
                 ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'],
                 ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'],
                 ['stop', 'posting', 'stupid', 'worthless', 'garbage'],
                 ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'],
                 ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']]
    classVec = [0,1,0,1,0,1]    ##分別表示標簽
    return postingList,classVec ##返回輸入數據和標簽向量
                 
def createVocabList(dataSet):
    vocabSet = set([])  
    for document in dataSet:
        vocabSet = vocabSet | set(document) 
    return list(vocabSet)##輸出不重復的元素

def setOfWords2Vec(vocabList, inputSet):###判斷了一個詞是否出現在一個文檔當中。
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] = 1
        else: print "the word: %s is not in my Vocabulary!" % word
    return returnVec###輸入中的元素在詞匯表時，詞匯表相應位置為1，否則為0

'''
#測試
dataSet,classes = loadDataSet()
print(dataSet)
vocabList = createVocabList(dataSet)
print(vocabList)
setWordsVec = setOfWords2Vec(vocabList,dataSet[0])
print(setWordsVec)
'''

 

1.2  得到每個特征的條件概率

##得到每個特征的條件概率
def trainNB0(trainMatrix,trainCategory):###輸入的文檔信息和標簽
    numTrainDocs = len(trainMatrix)
    numWords = len(trainMatrix[0])
    pAbusive = sum(trainCategory)/float(numTrainDocs)
    p0Num = ones(numWords)
    p1Num = ones(numWords)      
    p0Denom = 2.0
    p1Denom = 2.0                     
    for i in range(numTrainDocs):
        if trainCategory[i] == 1:
            p1Num += trainMatrix[i]
            p1Denom += sum(trainMatrix[i])
        else:
            p0Num += trainMatrix[i]
            p0Denom += sum(trainMatrix[i])
    p1Vect = log(p1Num/p1Denom)          
    p0Vect = log(p0Num/p0Denom)   
    return p0Vect,p1Vect,pAbusive
'''
#測試
dataSet,classes = loadDataSet()
vocabList = createVocabList(dataSet)
trainMat = []
for item in dataSet:
    trainMat.append(setOfWords2Vec(vocabList,item))
                    
p0v,p1v,pAb = trainNB0(trainMat,classes)
print(p0v)
print(p1v)
print(pAb)
'''

3  分類

#分類
def classifyNB(vec2Classify,p0Vec,p1Vec,pClass1):
    p1 = sum(vec2Classify * p1Vec) + log(pClass1)
    p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1)
    if p1 > p0:
        return 1
    else:
        return 0

#詞袋模型(返回所有詞匯出現的次數）
def bagOfWords2VecMN(vocabList, inputSet):
    returnVec = [0]*len(vocabList)
    for word in inputSet:
        if word in vocabList:
            returnVec[vocabList.index(word)] += 1
    return returnVec

def testingNB():
    listOPosts,listClasses = loadDataSet()
    myVocabList = createVocabList(listOPosts)
    trainMat=[]
    for postinDoc in listOPosts:
        trainMat.append(setOfWords2Vec(myVocabList, postinDoc))
    p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses))
    testEntry = ['love', 'my', 'dalmation']
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)
    testEntry = ['stupid', 'garbage']
    thisDoc = array(setOfWords2Vec(myVocabList, testEntry))
    print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)
'''
#測試
testingNB()
'''

 

 

分類算法這么多，要說貝葉斯分類器跟其它分類算法的區別，首先要說貝葉斯的分類准確率相對較高，而對於了解學習過程，還是決策樹更適合。