Python 文本相似度和聚類

文本數據是非結構化的和高噪聲的。在執行文本分類時，擁有標記合理的訓練數據和有監督學習大有裨益。但是，文檔聚類是一個無監督的學習過程，將嘗試通過讓機器學習各種各樣的文本文檔及其特征、相似度以及它們之間的差異，來講文本 文檔分割和分類為單獨的類別。這使得文檔聚類更具挑戰性，也更有意思。考慮一個設計各種不同的概念和想法的文檔語料庫。人類以這樣的方式將它們聯系在一起，即使用過去學習的各種知識，並應用它們來區分不同的文檔。例如，相對於句子 “Python is an excellent programming language (Python 是一種優秀的變成語言)”，句子 “The fox is smarter than the dog (狐狸比狗更聰明)” 和 “The fox is faster than the dog (狐狸比狗要快)” 更為相似。可以輕松並直觀地找出 Python、fox(狐狸)、dog(狗)、programming (編程) 等特定的關鍵短語，這有助於確定哪些句子或文檔更相似。那么，可以通過編程來實現以上過程么？下面重點介紹與文本相似度、距離度量和無監督 ML 算法相關的幾個概念，以回答以下問題：

• 如何度量文檔之間的相似度？
• 如何使用距離測量值來找出最相關的文檔？
• 什么時候距離測量值稱為度量？
• 如何聚類或組合類似的文檔？
• 可以可視化文檔聚類么？

盡管焦距於回答以上問題，還是要先介紹決絕這些問題所需的各種技巧的基礎概念和信息。還將使用一些實例來說明與文本相似度、距離度量和文檔聚類相關的概念外，在這些技術中，許多都可以與以前學習的一些技術相結合，反之亦然。例如，采用距離度量的文本相似度概念也可以用於構建文檔聚類。還可以使用主題模型中的特征來衡量文本相似度。此外，聚類通常是培養你對於數據可能的分組或分類的，甚至是可視化聚類的一個很好的切入點。聚類可以插入其他系統（如有監督的分類系統）中，還可以將幾種技術結合在一起，並構建加權分類器。這些可能性是無止境的。