SimHash算法 　　由于实验室和互联网基本没啥关系，也就从来没有关注过数据挖掘相关的东西。在实际工作中，第一次接触到匹配和聚类等工作，虽然用一些简单的匹配算法可以做小数据的聚类，但数据量达到一定的时候就束手无策了。 　　所以，趁着周末把这方面的东西看了看，做个笔记。 来历 ...

1. SimHash与传统hash函数的区别 　　传统的Hash算法只负责将原始内容尽量均匀随机地映射为一个签名值，原理上仅相当于伪随机数产生算法。传统的hash算法产生的两个签名，如果原始内容在一定概率下是相等的；如果不相等，除了说明原始内容不相等外，不再提供任何信息，因为即使原始内容只相差 ...

方法介绍 背景 如果某一天，面试官问你如何设计一个比较两篇文章相似度的算法？可能你会回答几个比较传统点的思路： 一种方案是先将两篇文章分别进行分词，得到一系列特征向量，然后计算特征向量之间的距离（可以计算它们之间的欧氏距离、海明距离或者夹角余弦等等），从而通过距离的大小来判断两篇 ...

在数据采集及大数据处理的时候，数据排重、相似度计算是很重要的一个环节，由此引入相似度计算算法。常用的方法有几种：最长公共子串（基于词条空间）、最长公共子序列（基于权值空间、词条空间）、最少编辑距离法（基于词条空间）、汉明距离（基于权值空间）、余弦值（基于权值空间）等，今天我们着重介绍最后两种 ...

Simhash算法是Google应用在网页去重中的一个常用算法，在开始讲解Simhash之前，首先需要了解： 什么是网页去重？为什么要进行网页去重？如何进行网页去重，其基本框架是什么？ 网页去重，顾名思义，就是过滤掉重复的网页。统计结果表明，近似重复网页的数量占网页总数 ...

解释一下图片：这里feature可以指一篇文档分词后的某个词，即将文档中的某个词作为一个特征。weight是这个词的权重，这里可以是这个词在这个句子中出现的次数。 这里的hash算法就是传统的hash算法，通过调用一个hash函数实现的。 simhash是为了计算一篇文档之间的相似度存在 ...

simhash ...

摘自：http://www.programcreek.com/java-api-examples/index.php?source_dir=textmining-master/src/com/gta/simhash/SimHash.java ...