嘗試了使用詞頻的詞表征進行kmeans，效果不好，所以考慮看看使用word2vec的詞表征會有什么不同。 1.加載word2vec import gensimmodel = gensim.models.KeyedVectors.load_word2vec_format ...

利用SVM算法進行文本分類 數據集 兩位不同作家的作品（金庸&劉慈欣）切分出來的小樣本。根據自己構建的詞匯表，將樣本轉化為一個1000維的0-1向量（僅統計詞匯是否出現）。再加上一個0-1標記作家 模型 SVM linearKernel 損失函數 優化方法 ...

最近看了LDA以及文本聚類的一些方法，寫在這里算是讀書筆記。文章最后進行了一個小實驗，通過爬取本人在微博上關注的人的微博，利用微博的內容，嘗試將我關注的人按主題進行進行聚類。 文本聚類就是把一個文本集分成一定數量的簇(Cluster)，使每個簇內的文本之間具有較大的相似性，而使簇間的文本具有較大 ...

聚類分析 什么是聚類分析？ 聚類 (Clustering) 就是將數據對象分組成為多個類或者簇 (Cluster)，它的目標是：在同一個簇中的對象之間具有較高的相似度，而不同簇中的對象差別較大。所以，在很多應用中，一個簇中的數據對象可以被作為一個整體來對待，從而減少計算量或者提高計算質量 ...

聚類分析 什么是聚類分析？ 聚類 (Clustering) 就是將數據對象分組成為多個類或者簇 (Cluster)，它的目標是：在同一個簇中的對象之間具有較高的相似度，而不同簇中的對象差別較大。所以，在很多應用中，一個簇中的數據對象可以被作為一個整體來對待，從而減少計算量或者提高計算質量 ...

利用Mahout實現在Hadoop上運行K-Means算法 一、介紹Mahout Mahout是Apache下的開源機器學習軟件包，目前實現的機器學習算法主要包含有協同過濾/推薦引擎，聚類和分類三個部分。Mahout從設計開始就旨在建立可擴展的機器學習軟件包，用於處理大數據 ...

利用 Linux命令行進行文本按行去重並按重復次數排序 linux命令行提供了非常強大的文本處理功能，組合利用linux命令能實現好多強大的功能。本文這里舉例說明如何利用Linux命令行進行文本按行去重並按重復次數排序。主要用到的命令有sort，uniq和cut ...

目錄 一、監督式分類：建立在訓練語料基礎上的分類 特征提取器和朴素貝葉斯分類器 過擬合：當特征過多 錯誤分析 二、實例：文本分類和詞性標注 文本分類 詞性標注：“決策樹”分類器 三、更近一步 ...