前言
利用簡單的機器學習算法實現垃圾郵件識別。
讓我們愉快地開始吧~
開發工具
Python版本：3.6.4
相關模塊：
scikit-learn模塊；
jieba模塊；
numpy模塊；
以及一些Python自帶的模塊。
環境搭建
安裝Python並添加到環境變量，pip安裝需要的相關模塊即可。
逐步實現
（1）划分數據集
網上用於垃圾郵件識別的數據集大多是英文郵件，所以為了表示誠意，我花了點時間找了一份中文郵件的數據集。數據集划分如下：
訓練數據集：
7063封正常郵件(data/normal文件夾下)；
7775封垃圾郵件(data/spam文件夾下)。
測試數據集：
共392封郵件(data/test文件夾下)。
（2）創建詞典
數據集里的郵件內容一般是這樣的：
首先，我們利用正則表達式過濾掉非中文字符，然后再用jieba分詞庫對語句進行分詞，並清除一些停用詞，最后再利用上述結果創建詞典，詞典格式為：
{"詞1": 詞1詞頻, "詞2": 詞2詞頻...}
這些內容的具體實現均在"utils.py"文件中體現，在主程序中(train.py)調用即可：
最終結果保存在"results.pkl"文件內。
大功告成了么？當然沒有！！！
現在的詞典里有52113個詞，顯然太多了，有些詞只出現了一兩次，后續特征提取的時候一直空占着一個維度顯然是不明智的做法。因此，我們只保留詞頻最高的4000個詞作為最終創建的詞典：
最終結果保存在"wordsDict.pkl"文件內。
（3）特征提取
詞典准備好之后，我們就可以把每封信的內容轉換為詞向量了，顯然其維度為4000，每一維代表一個高頻詞在該封信中出現的頻率，最后，我們將這些詞向量合並為一個大的特征向量矩陣，其大小為：
(7063+7775)×4000
即前7063行為正常郵件的特征向量，其余為垃圾郵件的特征向量。
上述內容的具體實現仍然在"utils.py"文件中體現，在主程序中調用如下：
最終結果保存在"fvs_%d_%d.npy"文件內，其中第一個格式符代表正常郵件的數量，第二個格式符代表垃圾郵件的數量。
（4）訓練分類器
我們使用scikit-learn機器學習庫來訓練分類器，模型選擇朴素貝葉斯分類器和SVM(支持向量機)：
（5）性能測試
利用測試數據集對模型進行測試：
結果如下：
可以發現兩個模型的性能是差不多的(SVM略勝於朴素貝葉斯)，但SVM更傾向於向垃圾郵件的判定。
文章到這里就結束了，感謝你的觀看，Python小案例系列暫停更新，下個篇章將分享Python小工具系列