可以估计每个文件的大小为 G G，远大于 G。所以不可能将其完全加载到内存中处理。考虑采取分而治之的方法。 遍历文件a，对每个url求取hash url ，然后根据所得值将url分别存储到 个小文件 设为a ,a ,...a 当中。这样每个小文件的大小约为 M。遍历文件b，采取和a相同的方法将url分别存储到 个小文件 b ,b ....b 中。这样处理后，所有可能相同的url都在对应的小文件 a ...
2012-08-16 00:25 0 4666 推荐指数：
题目描述：给定a、b两个文件，各存放50亿个url，每个url各占用64字节，内存限制是4G，如何找出a、b文件共同的url？ 分析：我们先来看如果要把这些URL全部加载到内存中，需要多大的空间。 1MB = 2^20 = 10^6 = 100W 1GB = 2^30 = 10 ...
假如每个url大小为10bytes，那么可以估计每个文件的大小为50G×64=320G，远远大于内存限制的4G，所以不可能将其完全加载到内存中处理，可以采用分治的思想来解决。 Step1：遍历文件a，对每个url求取hash(url)%1000，然后根据所取得的值将url分别存储到1000 ...
问题:有10 亿个 url，每个 url 大小小于 56B，要求去重，内存只给你4G 思路： 1.首先将给定的url调用hash方法计算出对应的hash的value，在10亿的url中相同url必然有着相同的value。 2.将文件的hash table 放到第value%n台机 ...
...
点击查看详细内容 详细代码 ...
var xhr = new XMLHttpRequest();xhr.open('GET', "http://abc/a.jpg");xhr.responseType = 'blob';xhr.onl ...
[DEFAULT]BASEURL=[InternetShortcut]URL=WorkingDirectory=ShowCommand=IconIndex=IconFile=Modified=HotKey= 其中BASEURL、URL和WorkingDirectory这3项的含义是不言而明 ...
