文本分類學習（六） AdaBoost和SVM
直接從特征提取，跳到了BoostSVM，是因為自己一直在寫程序，分析垃圾文本，和思考文本分類用於識別垃圾文本的短處。自己學習文本分類就是為了識別垃圾文本。 中間的博客待自己研究透徹后再補上吧。 因為獲取垃圾文本的時候，發現垃圾文本不是簡單的垃圾文本，它們具有多個特性： 1. 種類繁多 ...
原文：文本分類學習（二）文本表示
接着上一篇。在正式的嘗試使用文本分類算法分類文本的時候，我們得先准備兩件事情: 一，准備適量的訓練文本 二，選擇合適的方法將這些訓練文本進行表示 也就是將文本換一種方式表示 大家都知道文本其實就是很多詞組成的文章啊。所以很自然的就想到用一系列詞來表示文本。比如我這篇文章，將其分詞之后的結果就是： 接着 , 上 , 一篇 , 在 , 正式 ........... 這里有很多分詞工具可以辦到，如果不知 ...
2018-03-31 16:58 1 1014 推薦指數：
相關推薦
文本分類學習 （四） 特征選擇之卡方檢驗
序，選擇排名靠前的特征來表示文本。 目錄： 文本分類學習（一）開篇 文本分類學習（二 ...
NLP文本分類學習筆記7.1：基於ERNIE的文本分類
ERNIE 相關鏈接：ERNIE官方使用介紹，ERNIE項目地址 基於transformer的encoder，主要思想是將文本中已有的知識融入到模型訓練中，因此采用實體mask的方式（實體指人名，地名等詞） 預訓練 模型結構圖如下所示 文本中已有的知識主要有人名，地名等實體，這些詞本來 ...
文本分類學習 （八）SVM 入門之線性分類器
SVM 和線性分類器是分不開的。因為SVM的核心：高維空間中，在線性可分（如果線性不可分那么就使用核函數轉換為更高維從而變的線性可分）的數據集中尋找一個最優的超平面將數據集分隔開來。 所以要理解SVM首先要明白的就是線性可分和線性分類器。 可以先解釋這張圖，通過這張圖就可以了解線性 ...
文本分類學習（三） 特征權重（TF/IDF）和特征提取
上一篇中，主要說的就是詞袋模型。回顧一下，在進行文本分類之前，我們需要把待分類文本先用詞袋模型進行文本表示。首先是將訓練集中的所有單詞經過去停用詞之后組合成一個詞袋，或者叫做字典，實際上一個維度很大的向量。這樣每個文本在分詞之后，就可以根據我們之前得到的詞袋，構造成一個向量，詞袋中有多少個詞 ...
文本分類學習 （五） 機器學習SVM的前奏-特征提取（卡方檢驗續集）
前言： 上一篇比較詳細的介紹了卡方檢驗和卡方分布。這篇我們就實際操刀，找到一些訓練集，正所謂紙上得來終覺淺，絕知此事要躬行。然而我在躬行的時候，發現了卡方檢驗對於文本分類來說應該把公式再變形一般，那樣就完美了。 目錄： 文本分類學習（一）開篇 文本分類學習（二）文本表示 ...
NLP文本分類學習筆記0：數據預處理及訓練說明
本系列文章參考了github項目Chinese-Text-Classification-Pytorch 數據集及划分 使用來自github中的online_shopping_10_cats中文數據 ...
hanlp學習六：文本分類
一概念： 文本分類：將一個文檔歸類到一個或多個類別中的自然語言處理任務 類別即標簽 多標簽分類：一篇文檔可能屬於多個類別 二流程： a.人工標注文檔的類別生成文本分類語料庫 代碼 ...