大數據面試題以及答案整理（一）
多一個字節的數據：attributes(保存一些相關屬性，比如是否壓縮、壓縮格式等等)；如果magic的 ...
原文：大數據面試題及答案
.給定a b兩個文件，各存放 億個url，每個url各占 字節，內存限制是 G，讓你找出a b文件共同的url 假如每個url大小為 bytes，那么可以估計每個文件的大小為 G G，遠遠大於內存限制的 G，所以不可能將其完全加載到內存中處理，可以采用分治的思想來解決。 Step ：遍歷文件a，對每個url求取hash url ，然后根據所取得的值將url分別存儲到 個小文件 記為a ,a ,. ...
2017-09-30 00:56 0 3069 推薦指數：
相關推薦
大數據面試題以及答案整理（一）
之間多一個字節的數據：attributes(保存一些相關屬性，比如是否壓縮、壓縮格式等等)；如果magi ...
大數據面試題(一)----HADOOP 面試題
1. 下列哪項通常是集群的最主要瓶頸（C） A. CPU B. 網絡 C. 磁盤IO D. 內存 2. 下列哪項可以作為集群的管理工具？（C） A.Puppet B.Pdsh C.Cl ...
大數據面試題總結
面試題總結: 分布式文件系統（Distributed File System）是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網絡與節點相連。分布式文件系統的設計基於客戶機/服務器模式。 [優點] 支持超大文件 超大文件在這里指的是幾百M，幾百GB，甚至幾TB大小 ...
大數據面試題
判斷題： 1.如果 NameNode 意外終止，SecondaryNameNode 會接替它使集群繼續工作。（錯誤） 分析： SecondaryNameNode是幫助恢復，而不是替代 S ...
蘇寧大數據面試題
1. hadoop 使用什么版本，CDH版本號，是5.3.6 。hadoop的版本是2.72，記住cdh的版本號和hadoop版本號不一樣。2. flume是單節點采集數據還是多節點采集數據？flume是自定義框架還是用官方提供的框架？官方框架開發中有什么問題 ...
大數據面試題(一)
一、.hdfs寫文件的步驟 答案： (1)client向NameNode申請上傳…/xxx.txt文件 (2)NN向client響應可以上傳文件 (3)Client向NameNode申請DataNode (4)NN向Client返回DN1,DN2,DN3 (5)Client向DN1 ...