大数据面试题及答案
1.给定a、b两个文件，各存放50亿个url，每个url各占64字节，内存限制是4G，让你找出a、b文件共同的url? 假如每个url大小为10bytes，那么可以估计每个文件的大小为50 ...
原文：大数据技术之_32_大数据面试题_01_Hive 基本面试 + Hive 数据分析面试 + Flume + Kafka 面试
一 Hive 基本面试 什么是 metastore metastore 安装方式有什么区别 什么是 Managed Table 跟 External Table 什么时候使用 Managed Table 跟 External Table hive 有哪些复合数据类型 hive 分区有什么好处 hive 分区跟分桶的区别 hive 如何动态分区 map join 优化手段 如何创建 bucket ...
2019-06-18 21:50 0 1773 推荐指数：
相关推荐
大数据面试题
2.23. 我们开发job时，是否可以去掉reduce阶段。 可以。设置reduce数为0 即可。 2.24. datanode在什么情况下不会备份 datanode在强制关闭或者非正常断电不会备份。 ...
大数据面试题总结
面试题总结: 分布式文件系统（Distributed File System）是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。 [优点] 支持超大文件 超大文件在这里指的是几百M，几百GB，甚至几TB大小 ...
大数据面试题
判断题： 1.如果 NameNode 意外终止，SecondaryNameNode 会接替它使集群继续工作。（错误） 分析： SecondaryNameNode是帮助恢复，而不是替代 SecondaryNameNode所做的不过是在文件系统中设置一个检查点来帮助NameNode更好 ...
苏宁大数据面试题
1. hadoop 使用什么版本，CDH版本号，是5.3.6 。hadoop的版本是2.72，记住cdh的版本号和hadoop版本号不一样。2. flume是单节点采集数据还是多节点采集数据？flume是自定义框架还是用官方提供的框架？官方框架开发中有什么问题 ...
大数据面试题(一)
一、.hdfs写文件的步骤 答案： (1)client向NameNode申请上传…/xxx.txt文件 (2)NN向client响应可以上传文件 (3)Client向NameNode申请Dat ...
大数据高频面试题
面试中的问题（重点）** 1. RDD的特性（RDD的解释）1.RDD可以看做是一些列partition所组成的2.RDD之间的依赖关系3.算子是作用在partition之上的4.分区器是作用在kv形式的RDD上5.partition提供的最佳计算位置,利于数据处理的本地化即计算向数据移动 ...
大数据面试题整理
1、fsimage和edit的区别？ 2、列举几个配置文件优化？ --发挥 3、datanode 首次加入 cluster 的时候 ...