Hadoop 面试题总结(一)
1、集群的最主要瓶颈是：磁盘IO 面对大数据，读取数据需要经过IO，这里可以把IO理解为水的管道。管道越大越强，我们对于T级的数据读取就越快。所以IO的好坏，直接影响了集群对于数据的处理。 参考 ...
原文：Hadoop 面试总结
简要描述如何安装配置一个开源的hadoop，只描述即可，列出完整步骤。 a 创建一个用户和用户组，用来管理hadoop项目 b 修改确定ip地址：vim etc sysconfig network scripts ifcfg eth c 修改主机名：vim etc sysconfig network d 修改host主机名和ip地址映射：vim etc hosts e 查看防火墙状态并关闭防火墙 ...
2018-03-07 16:34 0 1659 推荐指数：
相关推荐
Hadoop/Spark相关面试问题总结
Hadoop/Spark相关面试问题总结 面试回来之后把其中比较重要的问题记了下来写了个总结： （答案在后面） 1、简答说一下hadoop的map-reduce编程模型 2、hadoop的TextInputFormat作用是什么，如何自定义实现 3、hadoop ...
Hadoop面试题总结（二）——HDFS
1、 HDFS 中的 block 默认保存几份？ 默认保存3份 2、HDFS 默认 BlockSize 是多大？ 默认64MB 3、负责HDFS数据存储的是哪一部分？ DataNode负责数 ...
Hadoop面试题总结（三）——MapReduce
1、谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化? 1）序列化和反序列化 （1）序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。 （2）反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象 ...
Hadoop面试题
1、把数据仓库从传统关系数据库转到hadoop有什么优势？ 原关系存储方式昂贵 空间有限 hadoop支持结构化（例如 RDBMS），非结构化（例如 images，PDF，docs ）和半结构化（例如 logs，XMLs）的数据可以以可扩展和容错的方式存储在较便宜的商品机器中 ...
hadoop面试题一
1、hadoop运行的原理?xxxxxx 2、mapreduce的原理?xxxxxx 3、HDFS存储的机制?xxxxxx 4、举一个简单的例子说明mapreduce是怎么来运行的 ?xxxxxx 5、面试的人给你出一些问题,让你用mapreduce来实现？比如:现在有10个文件夹,每个 ...
Hadoop面试整理
1、Hadoop1.x和2.x之间的区别：Hadoop 1.0主要由两个分支组成：MapReduce和HDFS，在高可用、扩展性等方面存在问题 （1）HDFS存在的问题 1）NameNode单点故障，难以应用于在线场景。 2）NameNode压力过大，且内存受限，影响扩展性 ...
Hadoop面试题
1、Hive内部表和外部表的区别？ 1、在导入数据到外部表，数据并没有移动到自己的数据仓库目录下，也就是说外部表中的数据并不是由它自己来管理的！而表则不一样； 2、在删除表的时候，Hive将 ...