海量數據的處理在互聯網行業一直是很受關注的一類問題。面對如此龐大的數據量，要在它們當中進行查找、找最值、統計等操作，不難想象，這是一件比較困難的事情。而實際處理當中，通常是會利用 布隆過濾器和 哈希兩種數據結構來解決這類問題。 布隆過濾器(Bloom Filter) Bloom Filter ...

這篇博客源自對一個內存無法處理的詞頻統計問題的思考，最后給出的解決辦法是自己想的，可以肯定這不是最好的解法。但是通過和同學的討論，仍然感覺這是一個有意義及有意思的問題，所以和大家分享與探討。 如果有誤，請大家指正。如果有更好的方法，望不吝賜教。 1、提出問題 實際問題: 當前 ...

　　大家好，本人算法菜鳥一枚，有個處理數據的問題想了好幾天，也初步寫了一點代碼，總達不到理想的效果，希望高手們指點。 　　背景與數據細節這里先略過(考慮到公司數據的保密性與表達的無必要性)。 　　遇到的問題可以簡單地歸結到兩個公式上面： 　　1、K0 = A1*Px ...

第一部分、十道海量數據處理面試題 1、海量日志數據，提取出某日訪問百度次數最多的那個IP。 首先是這一天，並且是訪問百度的日志中的IP取出來，逐個寫入到一個大文件中。注意到IP是32位的，最多有個2^32個IP。同樣可以采用映射的方法，比如模1000，把整個大文件映射為1000個小文件，再找 ...

題目： CVTE筆試題 https://www.1024do.com/?p=3949 搜索引擎會通過日志文件把用戶每次檢索使用的所有檢索串都記錄下來，每個查 ...

　　隨着現在數據量的不斷增加，很多大數量的問題隨之而來，就得需要我們想辦法解決，我找了一些問題並首先思考，然后找到方法，在這里記錄一下，未來有需要的同學可以拿走去用。 　　1. 在海量日志數據里，提取某天訪問量最多的IP。 　　一般處理海量的思路都是分治處理，就是現將數據進行拆分，然后進行處理 ...

海量數據，找出最熱門（頻率最高）的某一數據，或前100的數據。一般情況下數據大小幾百個G，而內存限制就1個G，完成計算。 應用場景：　　（1）海量日志數據，提取出某日訪問百度次數最多的那個IP；　　（2）搜索引擎會通過日志文件把用戶每次檢索使用的所有檢索串都記錄下來， 假設目前有一千萬個記錄 ...

1. 給定a、b兩個文件，各存放50億個url，每個url各占64字節，內存限制是4G，讓你找出a、b文件共同的url？ 方案1：可以估計每個文件安的大小為50G×64=320G，遠遠大於內存限制的4G。所以不可能將其完全加載到內存中處理。考慮采取分而治之的方法。 s 遍歷文件a，對每個url ...