本篇博文是數據挖掘部分的首篇，思路主要是先聊聊相似度的理論部分，下一篇是代碼實戰。 我們在比較事物時，往往會用到“不同”，“一樣”，“相似”等詞語，這些詞語背后都涉及到 ...

1. 文本相似度計算-文本向量化 2. 文本相似度計算-距離的度量 3. 文本相似度計算-DSSM算法 4. 文本相似度計算-CNN-DSSM算法 1.前言 在自然語言處理過程中，經常會涉及 ...

一、文本表示 文本表示的意思是把字詞處理成向量或矩陣，以便計算機能進行處理。文本表示是自然語言處理的開始環節。 文本表示按照細粒度划分，一般可分為字級別、詞語級別和句子級別的文本表示。字級別（ch ...

這是文本離散表示的第二篇實戰文章，要做的是運用TF-IDF算法結合n-gram，求幾篇文檔的TF-IDF矩陣，然后提取出各篇文檔的關鍵詞，並計算各篇文檔之間的余弦距離，分析其相似度。 TF-IDF與 ...

基礎知識 語料庫(corpus)：語料庫有三點特征語料庫中存放的是在語言的實際使用中真實出現過的語言材料，因此例句庫通常不應算作語料庫；語料庫是承載語言知識的基礎資源，但並不等於語言知識；真實語料需 ...

TF-IDF是什么 TF-IDF是一種統計方法，用以評估一個詞對於一篇文章或語料庫中一篇文章的重要性。字詞的重要性隨着它在文件中出現的次數成正比增加，但同時會隨着它在語料庫中出現的頻率成反比下降。 ...

假設有一段文本："I have a cat, his name is Huzihu. Huzihu is really cute and friendly. We are good friends." ...

分詞（Tokenization） - NLP學習（1） N-grams模型、停頓詞（stopwords）和標准化處理 - NLP學習（2） 之前我們都了解了如何對文本進行處理：（1）如用NL ...

一.簡介 　　1.RF-IDF【term frequency-inverse document frequency】是一種用於檢索與探究的常用加權技術。 　　2.TF-IDF是一種統計方法，用於評 ...

在NLP(自然語言處理)領域，文本表示是第一步，也是很重要的一步，通俗來說就是把人類的語言符號轉化為機器能夠進行計算的數字，因為普通的文本語言機器是看不懂的，必須通過轉化來表征對應文本。早期是基於規則 ...