数据库中有有一张表专门存储用户的维度数据，由于随着时间的推移，用户的维度数据也可能发生变化，故每一次查看都会保存一次记录。现在需要对数据按用户分析，但当中有大量的重复数据，仅用数据库的等值去重明显不可行。 对数据内容求MD5值 MD5值的特点： 1.压缩性：任意长度的数据，算出 ...

一些看似简单的数据操作，当作用于海量数据集时，就会出现“意料之外，却在情理之中”的问题，海量数据操作，需要采用特殊方法，才能“曲径通幽”。在删除海量数据时，需要注意日志的增长，索引碎片的增加和数据库的恢复模式，特别是利用大容量日志操作，来减少日志的增长和提高数据插入的速度。对于大数据去重，通过一些 ...

数据去重（data deduplication）是大数据领域司空见惯的问题了。除了统计UV等传统用法之外，去重的意义更在于消除不可靠数据源产生的脏数据——即重复上报数据或重复投递数据的影响，使计算产生的结果更加准确。 介绍下经常使用的去重方案： 一、布隆过滤器（BloomFilter ...

。当然这在处理小规模数据是可行的。 我们考虑大数据的情况：例如在java语言下，对10亿个int类型数据 ...

使用反射和动态生成代码两种方式（Reflect和Emit） 反射将DataTable转为List方法 View Code 动态生成代码将DataTable转为List方法 View Code 然后写个控制台程序，对比 ...

外部排序算法相关：主要用到归并排序，堆排序，桶排序，重点是先分成不同的块，然后从每个块中找到最小值写入磁盘，分析过程可以看看http://blog.csdn.net/jeason29/article/ ...

有这么个场景，每天需要定时任务插入增量数据。如果通过接口获取的直接根据时间过滤，那么就能直接就可以插入库中。但有时获取到的并不是增量数据，比如微信公众号获取关注者列表时，获取到的是全量数据，这样每天就得将全量数据与库中进行比较，只有库中不存在数据才进行插入。这就有了两个list比较差值的问题 ...

***数据去重*** 目标：原始数据中出现次数超过一次的数据在输出文件中只出现一次。 算法思想：根据reduce的过程特性,会自动根据key来计算输入的value集合，把数据作为key输出给reduce,无论这个数据出现多少次，reduce最终结果中key只能输出一次。 1.实例中每个数据 ...