學習了那么多機器學習模型，一切都是為了實踐，動手自己寫寫這些模型的實現對自己很有幫助的，堅持，共勉。本文主要致力於總結貝葉斯實戰中程序代碼的實現（python）及朴素貝葉斯模型原理的總結。python的numpy包簡化了很多計算，另外本人推薦使用pandas做數據統計。
一 引言
讓你猜測一個身高2.16的人的職業，你一般會猜測他是籃球運動員。這個原理就是朴素貝葉斯原理，因為籃球運動員大多身高很高，所以這個人具有籃球運動員的條件，則猜測他是籃球運動員。
同理，另一個升高1.58的人，你應該不會猜他是籃球運動員。
二 理論
條件貝葉斯公式：p(Ci | x,y)=p(x,y | Ci)*p(Ci) / p(x,y)
計算每個類別的概率，若p(C1 | x,y) > p(~C1 | x,y), 則類別屬於類C1，否則不屬於類C1。
程序中在模型訓練的時候，只需要先在訓練樣本中計算好先驗概率 p(Ci) 和 條件概率 p(x,y | Ci) 即可，因為p(x,y)不隨Ci變化，不影響p(Ci | x,y)的最好大小。
注：條件貝葉斯是保證條件之間獨立的（文檔分類中是假設一個詞匯出現與其他詞匯是否出現無關，然而同一主題的詞匯一起出現的概率很高，存在關聯），所以這個假設過於簡單；盡管如此，然而事實表明，朴素貝葉斯的效果還很好。
三 實戰1 -文本分類（應用過濾惡意留言等）
下面是二分類問題，文檔只能屬於0和1兩個類別，
1 載入數據集：6條文本及它們各自的類別，這6條文本作為訓練集。
from numpy import * def loadDataSet(): postingList=[['my', 'dog', 'has', 'flea', 'problems', 'help', 'please'], ['maybe', 'not', 'take', 'him', 'to', 'dog', 'park', 'stupid'], ['my', 'dalmation', 'is', 'so', 'cute', 'I', 'love', 'him'], ['stop', 'posting', 'stupid', 'worthless', 'garbage'], ['mr', 'licks', 'ate', 'my', 'steak', 'how', 'to', 'stop', 'him'], ['quit', 'buying', 'worthless', 'dog', 'food', 'stupid']] classVec = [0,1,0,1,0,1] #1 is abusive, 0 not return postingList,classVec
2 創建詞匯表：利用集合結構內元素的唯一性，創建一個包含所有詞匯的詞表。
def createVocabList(dataSet): vocabSet = set([]) #create empty set for document in dataSet: vocabSet = vocabSet | set(document) #union of the two sets return list(vocabSet)
3 把輸入文本根據詞表轉化為計算機可處理的01向量形式：
eq，測試文本1： ['love', 'my', 'dalmation']
詞匯表：['cute', 'love', 'help', 'garbage', 'quit', 'I', 'problems', 'is', 'park', 'stop', 'flea', 'dalmation', 'licks', 'food', 'not', 'him', 'buying', 'posting', 'has', 'worthless', 'ate', 'to', 'maybe', 'please', 'dog', 'how', 'stupid', 'so', 'take', 'mr', 'steak', 'my']
向量化結果：[0 1 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1]
def setOfWords2Vec(vocabList, inputSet): returnVec = [0]*len(vocabList) for word in inputSet: if word in vocabList: returnVec[vocabList.index(word)] = 1 else: print "the word: %s is not in my Vocabulary!" % word return returnVec
4訓練模型：在訓練樣本中計算先驗概率 p(Ci) 和 條件概率 p(x,y | Ci)，本實例有0和1兩個類別，所以返回p(x,y | 0)，p(x,y | 1)和p(Ci)。
此處有兩個改進的地方：
（1）若有的類別沒有出現，其概率就是0，會十分影響分類器的性能。所以采取各類別默認1次累加，總類別（兩類）次數2，這樣不影響相對大小。
（2）若很小是數字相乘，則結果會更小，再四舍五入存在誤差，而且會造成下溢出。采取取log，乘法變為加法，並且相對大小趨勢不變。
def trainNB0(trainMatrix,trainCategory): numTrainDocs = len(trainMatrix) numWords = len(trainMatrix[0]) pAbusive = sum(trainCategory)/float(numTrainDocs) p0Num = ones(numWords); p1Num = ones(numWords) #change to ones() p0Denom = 2.0; p1Denom = 2.0 #change to 2.0 for i in range(numTrainDocs): if trainCategory[i] == 1: p1Num += trainMatrix[i] p1Denom += sum(trainMatrix[i]) else: p0Num += trainMatrix[i] p0Denom += sum(trainMatrix[i]) p1Vect = log(p1Num/p1Denom) #change to log() p0Vect = log(p0Num/p0Denom) #change to log() return p0Vect,p1Vect,pAbusive
5 分類：根據計算后，哪個類別的概率大，則屬於哪個類別。
def classifyNB(vec2Classify, p0Vec, p1Vec, pClass1): p1 = sum(vec2Classify * p1Vec) + log(pClass1) #element-wise mult p0 = sum(vec2Classify * p0Vec) + log(1.0 - pClass1) if p1 > p0: return 1 else: return 0
6 測試函數：
加載數據集+提煉詞表；
訓練模型：根據六條訓練集計算先驗概率和條件概率；
測試模型：對訓練兩條測試文本進行分類。
def testingNB(): listOPosts,listClasses = loadDataSet() myVocabList = createVocabList(listOPosts) trainMat=[] for postinDoc in listOPosts: trainMat.append(setOfWords2Vec(myVocabList, postinDoc)) p0V,p1V,pAb = trainNB0(array(trainMat),array(listClasses)) testEntry = ['love', 'my', 'dalmation'] thisDoc = array(setOfWords2Vec(myVocabList, testEntry)) print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb) testEntry = ['stupid', 'garbage'] thisDoc = array(setOfWords2Vec(myVocabList, testEntry)) print testEntry,'classified as: ',classifyNB(thisDoc,p0V,p1V,pAb)
缺點：詞表只能記錄詞匯是否出現，不能體現這個詞匯出現的次數。改進方法：采用詞袋模型，見下面垃圾郵件分類實戰。
四 實戰2-垃圾郵件分類
1 對郵件的文本划分成詞匯，長度小於2的默認為不是詞匯，過濾掉即可。返回一串小寫的拆分后的郵件信息。
def textParse(bigString): #input is big string, #output is word list import re listOfTokens = re.split(r'\W*', bigString) return [tok.lower() for tok in listOfTokens if len(tok) > 2]
2 文檔詞袋模型：使用數組代替集合數據結構，可以保存詞匯頻率信息。
def bagOfWords2VecMN(vocabList, inputSet): returnVec = [0]*len(vocabList) for word in inputSet: if word in vocabList: returnVec[vocabList.index(word)] += 1 return returnVec
3 輸入為25封正常郵件和25封垃圾郵件。50封郵件中隨機選取10封作為測試樣本，剩余40封作為訓練樣本。
訓練模型：40封訓練樣本，訓練出先驗概率和條件概率；
測試模型：遍歷10個測試樣本，計算垃圾郵件分類的正確率。
def spamTest(): docList=[]; classList = []; fullText =[] for i in range(1,26): wordList = textParse(open('email/spam/%d.txt' % i).read()) # print wordList docList.append(wordList) fullText.extend(wordList) classList.append(1) wordList = textParse(open('email/ham/%d.txt' % i).read()) docList.append(wordList) fullText.extend(wordList) classList.append(0) vocabList = createVocabList(docList)#create vocabulary trainingSet = range(50); testSet=[] #create test set for i in range(10): randIndex = int(random.uniform(0,len(trainingSet))) testSet.append(trainingSet[randIndex]) del(trainingSet[randIndex]) trainMat=[]; trainClasses = [] for docIndex in trainingSet:#train the classifier (get probs) trainNB0 trainMat.append(bagOfWords2VecMN(vocabList, docList[docIndex])) trainClasses.append(classList[docIndex]) p0V,p1V,pSpam = trainNB0(array(trainMat),array(trainClasses)) errorCount = 0 for docIndex in testSet: #classify the remaining items wordVector = bagOfWords2VecMN(vocabList, docList[docIndex]) if classifyNB(array(wordVector),p0V,p1V,pSpam) != classList[docIndex]: errorCount += 1 print "classification error",docList[docIndex] print 'the error rate is: ',float(errorCount)/len(testSet) #return vocabList,fullText
五 小結
上面我處理的樣本的屬性值都是分類型的，然而數值型的朴素貝葉斯能處理嗎？
1 朴素貝葉斯處理數值型數據的方法：
（1） 區間離散化，設閾值，分段。
（2） 高斯化：求出概率密度函數，假設變量服從正態分布，根據已有變量統計均值和方差，
得出概率密度函數，這樣就解決了計算連續值作為分類的條件概率值。
參考：http://blog.mythsman.com/?p=2683
2 除0問題：
Laplace校准 所有計算均加一，總類別數目加n；
3 下溢出：很小的值相乘，四舍五入誤差
采用log 乘法變相加；
4移除停用詞：也可以提高文本分類的性能
參考：書<機器學習實戰> Peter