NLTK是python環境中的一個非常流行的NLP庫，這篇記錄主要記錄NLTK的一些常見操作
1.去除網頁html標記
我們常常通過爬蟲獲取網頁信息，然后需要去除網頁的html標簽。為此我們可以這么做：
2.統計詞頻
這里使用的tokens就是上面圖中的tokens
3.去除停用詞
停用詞就是類似the,a,of這種語義無價值的詞，取出后我們還可以把統計圖畫出來
4.繪制詞雲圖
對於詞雲圖的使用原理還不太清楚，只是找了一個可運行的公式
免責聲明！
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。
猜您在找
NLTK 停用詞、罕見詞
機器學習入門-文本數據-構造詞頻詞袋模型 1.re.sub(進行字符串的替換) 2.nltk.corpus.stopwords.words(獲得停用詞表) 3.nltk.WordPunctTokenizer(對字符串進行分詞操作) 4.np.vectorize(對函數進行向量化) 5. CountVectorizer(構建詞頻的詞袋模型)
中文文本處理——去除非中文字符、去除停用詞、統計詞頻
python jieba分詞（添加停用詞，用戶字典 取詞頻
python 去停用詞
Elasticsearch之停用詞
常用的中文停用詞
非常不錯的停用詞詞表
Hadoop MapReduce 操作 統計詞頻
使用jieba進行數據預處理（分詞，過濾停用詞及標點，獲取詞頻、關鍵詞等（轉）