給定a、b兩個文件，各存放50億個url，每個url各占用64字節，內存限制是4G，如何找出a、b文件共同的url？
可以估計每個文件的大小為5G*64=300G，遠大於4G。所以不可能將其完全加載到內存中處理。考慮采取分而治之的方法。 遍歷文件a，對每個url求取hash(url)%1000，然后根據所得值將url分別存儲到1000個小文件（設為a0,a1,...a999）當中。這樣每個小文件的大小約為 ...
原文：面試- 阿里-. 大數據題目- 給定a、b兩個文件，各存放50億個url，每個url各占64字節，內存限制是4G，讓你找出a、b文件共同的url?
假如每個url大小為 bytes，那么可以估計每個文件的大小為 G G，遠遠大於內存限制的 G，所以不可能將其完全加載到內存中處理，可以采用分治的思想來解決。 Step ：遍歷文件a，對每個url求取hash url ，然后根據所取得的值將url分別存儲到 個小文件 記為a ,a ,...,a ，每個小文件約 M Step :遍歷文件b，采取和a相同的方式將url分別存儲到 個小文件 記為b ,b ...
2017-07-12 11:32 0 10029 推薦指數：
相關推薦
給定a、b兩個文件，各存放50億個url，每個url各占用64字節，內存限制是4G，如何找出a、b文件共同的url？
題目描述：給定a、b兩個文件，各存放50億個url，每個url各占用64字節，內存限制是4G，如何找出a、b文件共同的url？ 分析：我們先來看如果要把這些URL全部加載到內存中，需要多大的空間。 1MB = 2^20 = 10^6 = 100W 1GB = 2^30 = 10 ...
有10 億個 url，每個 url 大小小於 56B，要求去重，內存只給你4G
問題:有10 億個 url，每個 url 大小小於 56B，要求去重，內存只給你4G 思路： 1.首先將給定的url調用hash方法計算出對應的hash的value，在10億的url中相同url必然有着相同的value。 2.將文件的hash table 放到第value%n台機 ...
JS通過URL上傳文件
點擊查看詳細內容 詳細代碼 ...
js通過url上傳文件
var xhr = new XMLHttpRequest();xhr.open('GET', "http://abc/a.jpg");xhr.responseType = 'blob';xhr.onl ...
url文件的格式
[DEFAULT]BASEURL=[InternetShortcut]URL=WorkingDirectory=ShowCommand=IconIndex=IconFile=Modified=HotKey= 其中BASEURL、URL和WorkingDirectory這3項的含義是不言而明 ...
通過阿里OSS文件服務返回的URL獲取文件流下載
我們都知道將文件上傳到阿里的OSS文件服務上后，可以通過generatePresignedUrl(bucketName, key, expiration)方法獲取該文件的防問路徑，但是當我們知道該文件的訪問路徑該如何通過路徑獲取該文件的下載流呢？ 1、截取文件訪問路徑，只要該文件的名稱 ...