尝试了使用词频的词表征进行kmeans，效果不好，所以考虑看看使用word2vec的词表征会有什么不同。 1.加载word2vec import gensimmodel = gensim.models.KeyedVectors.load_word2vec_format ...

利用SVM算法进行文本分类 数据集 两位不同作家的作品（金庸&刘慈欣）切分出来的小样本。根据自己构建的词汇表，将样本转化为一个1000维的0-1向量（仅统计词汇是否出现）。再加上一个0-1标记作家 模型 SVM linearKernel 损失函数 优化方法 ...

最近看了LDA以及文本聚类的一些方法，写在这里算是读书笔记。文章最后进行了一个小实验，通过爬取本人在微博上关注的人的微博，利用微博的内容，尝试将我关注的人按主题进行进行聚类。 文本聚类就是把一个文本集分成一定数量的簇(Cluster)，使每个簇内的文本之间具有较大的相似性，而使簇间的文本具有较大 ...

聚类分析 什么是聚类分析？ 聚类 (Clustering) 就是将数据对象分组成为多个类或者簇 (Cluster)，它的目标是：在同一个簇中的对象之间具有较高的相似度，而不同簇中的对象差别较大。所以，在很多应用中，一个簇中的数据对象可以被作为一个整体来对待，从而减少计算量或者提高计算质量 ...

聚类分析 什么是聚类分析？ 聚类 (Clustering) 就是将数据对象分组成为多个类或者簇 (Cluster)，它的目标是：在同一个簇中的对象之间具有较高的相似度，而不同簇中的对象差别较大。所以，在很多应用中，一个簇中的数据对象可以被作为一个整体来对待，从而减少计算量或者提高计算质量 ...

利用Mahout实现在Hadoop上运行K-Means算法 一、介绍Mahout Mahout是Apache下的开源机器学习软件包，目前实现的机器学习算法主要包含有协同过滤/推荐引擎，聚类和分类三个部分。Mahout从设计开始就旨在建立可扩展的机器学习软件包，用于处理大数据 ...

利用 Linux命令行进行文本按行去重并按重复次数排序 linux命令行提供了非常强大的文本处理功能，组合利用linux命令能实现好多强大的功能。本文这里举例说明如何利用Linux命令行进行文本按行去重并按重复次数排序。主要用到的命令有sort，uniq和cut ...

目录 一、监督式分类：建立在训练语料基础上的分类 特征提取器和朴素贝叶斯分类器 过拟合：当特征过多 错误分析 二、实例：文本分类和词性标注 文本分类 词性标注：“决策树”分类器 三、更近一步 ...