分类：海量数据处理面试题 1.海量日志数据，提取出某日访问百度次数最多的那个IP。 　　首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到ip是32位的，最多有个2^ ...

1、首先一点，对于海量数据处理，思路基本上是确定的，必须分块处理，然后再合并起来。 2、对于每一块必须找出10个最大的数，因为第一块中10个最大数中的最小的，可能比第二块中10最大数中的最大的还要大 ...

题目描述 给定 a、b 两个文件，各存放 50 亿个 URL，每个 URL 各占 64B，内存限制是 4G。请找出 a、b 两个文件共同的 URL。 解答思路 每个 URL 占 64B，那么 5 ...

题目描述 　　有一个 1GB 大小的文件，文件里每一行是一个词，每个词的大小不超过 16B，内存大小限制是 1MB，要求返回频数最高的 100 个词(Top 100)。 解答思路 　　由于内存限 ...

题目描述 已知某个文件内包含一些电话号码，每个号码为 8 位数字，统计不同号码的个数。 解答思路 这道题本质还是求解数据重复的问题，对于这类问题，一般首先考虑位图法。 对于本题，8 位电话号码 ...