算法简介 SimHash也即相似hash，是一类特殊的信息指纹，常用来比较文章的相似度，与传统hash相比，传统hash只负责将原始内容尽量随机的映射为一个特征值，并保证相同的内容一定具有相同的特征值。而且如果两个hash值是相等的，则说明原始数据在一定概率下也是相等的。但通过传统hash来判断 ...

在前一篇文章 《海量数据相似度计算之simhash和海明距离》 介绍了simhash的原理，大家应该感觉到了算法的魅力。但是随着业务的增长 simhash的数据也会暴增，如果一天100w，10天就1000w了。我们如果插入一条数据就要去比较1000w次的simhash，计算量还是蛮大，普通PC ...

摘自：http://www.programcreek.com/java-api-examples/index.php?source_dir=textmining-master/src/com/gta/simhash/SimHash.java ...

海明距离是序列相同位置上数据不同的个数，比如abc和acb，海明距离是第二位和第三位不同，海明距离是2。欧氏距离就是空间点距离，v0=(a0,b0,c0), v1=(a1,b1,c1)，则欧氏距离是sqrt( (a0-a1)^2+(b0-b1)^2+(c0-c1)^2)这些距离和机器学习应该是独立 ...

使用Levenshtein计算相似度距离，装下模块，调用下函数就好。 拿idf还得自己去算权重，而且不一定准确度高，一般做idf还得做词性归一化，把动词形容词什么全部转成名词，很麻烦。 Levenshtein.distance(str1,str2) 计算编辑距离（也称Levenshtein ...

1.余弦距离 适用场景：余弦相似度衡量的是维度间取值方向的一致性，注重维度之间的差异，不注重数值上的差异。 举例：如某T恤从100块降到了50块（A(100,50)），某西装从1000块降到了500块（B(1000,500)），那么T恤和西装都是降价了50%，两者的价格变动趋势一致，可以用余弦 ...

在分类聚类算法,推荐系统中,常要用到两个输入变量(通常是特征向量的形式)距离的计算,即相似性度量.不同相似性度量对于算法的结果,有些时候,差异很大.因此,有必要根据输入数据的特征,选择一种合适的相似性度量方法. 令X=(x1,x2,..,xn)T,Y=(y1,y2,...yn)T为两个输入向量 ...

...