海量数据的处理在互联网行业一直是很受关注的一类问题。面对如此庞大的数据量，要在它们当中进行查找、找最值、统计等操作，不难想象，这是一件比较困难的事情。而实际处理当中，通常是会利用 布隆过滤器和 哈希两种数据结构来解决这类问题。 布隆过滤器(Bloom Filter) Bloom Filter ...

这篇博客源自对一个内存无法处理的词频统计问题的思考，最后给出的解决办法是自己想的，可以肯定这不是最好的解法。但是通过和同学的讨论，仍然感觉这是一个有意义及有意思的问题，所以和大家分享与探讨。 如果有误，请大家指正。如果有更好的方法，望不吝赐教。 1、提出问题 实际问题: 当前 ...

　　大家好，本人算法菜鸟一枚，有个处理数据的问题想了好几天，也初步写了一点代码，总达不到理想的效果，希望高手们指点。 　　背景与数据细节这里先略过(考虑到公司数据的保密性与表达的无必要性)。 　　遇到的问题可以简单地归结到两个公式上面： 　　1、K0 = A1*Px ...

第一部分、十道海量数据处理面试题 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找 ...

题目： CVTE笔试题 https://www.1024do.com/?p=3949 搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查 ...

　　随着现在数据量的不断增加，很多大数量的问题随之而来，就得需要我们想办法解决，我找了一些问题并首先思考，然后找到方法，在这里记录一下，未来有需要的同学可以拿走去用。 　　1. 在海量日志数据里，提取某天访问量最多的IP。 　　一般处理海量的思路都是分治处理，就是现将数据进行拆分，然后进行处理 ...

海量数据，找出最热门（频率最高）的某一数据，或前100的数据。一般情况下数据大小几百个G，而内存限制就1个G，完成计算。 应用场景：　　（1）海量日志数据，提取出某日访问百度次数最多的那个IP；　　（2）搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来， 假设目前有一千万个记录 ...

1. 给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url？ 方案1：可以估计每个文件安的大小为50G×64=320G，远远大于内存限制的4G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 s 遍历文件a，对每个url ...