大数据面试题以及答案整理（一）
多一个字节的数据：attributes(保存一些相关属性，比如是否压缩、压缩格式等等)；如果magic的 ...
原文：大数据面试题及答案
.给定a b两个文件，各存放 亿个url，每个url各占 字节，内存限制是 G，让你找出a b文件共同的url 假如每个url大小为 bytes，那么可以估计每个文件的大小为 G G，远远大于内存限制的 G，所以不可能将其完全加载到内存中处理，可以采用分治的思想来解决。 Step ：遍历文件a，对每个url求取hash url ，然后根据所取得的值将url分别存储到 个小文件 记为a ,a ,. ...
2017-09-30 00:56 0 3069 推荐指数：
相关推荐
大数据面试题以及答案整理（一）
之间多一个字节的数据：attributes(保存一些相关属性，比如是否压缩、压缩格式等等)；如果magi ...
大数据面试题(一)----HADOOP 面试题
1. 下列哪项通常是集群的最主要瓶颈（C） A. CPU B. 网络 C. 磁盘IO D. 内存 2. 下列哪项可以作为集群的管理工具？（C） A.Puppet B.Pdsh C.Cl ...
大数据面试题总结
面试题总结: 分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。 [优点] 支持超大文件 超大文件在这里指的是几百M，几百GB，甚至几TB大小 ...
大数据面试题
判断题： 1.如果 NameNode 意外终止，SecondaryNameNode 会接替它使集群继续工作。（错误） 分析： SecondaryNameNode是帮助恢复，而不是替代 S ...
苏宁大数据面试题
1. hadoop 使用什么版本，CDH版本号，是5.3.6 。hadoop的版本是2.72，记住cdh的版本号和hadoop版本号不一样。2. flume是单节点采集数据还是多节点采集数据？flume是自定义框架还是用官方提供的框架？官方框架开发中有什么问题 ...
大数据面试题(一)
一、.hdfs写文件的步骤 答案： (1)client向NameNode申请上传…/xxx.txt文件 (2)NN向client响应可以上传文件 (3)Client向NameNode申请DataNode (4)NN向Client返回DN1,DN2,DN3 (5)Client向DN1 ...