hadoop(HDFS)常见面试题
1. 谈谈什么是Hadoop? Hadoop是一个开源软件框架，用于存储大量数据，并发计算/查询节点的集群上的数据。 Hadoop包括以下内容： HDFS(Hadoop Distributed File System)：Hadoop分布式文件存储系统。 MapReduce ...
原文：Hadoop面试题总结（二）——HDFS
HDFS 中的 block 默认保存几份 默认保存 份 HDFS 默认 BlockSize 是多大 默认 MB 负责HDFS数据存储的是哪一部分 DataNode负责数据存储 SecondaryNameNode的目的是什么 他的目的使帮助NameNode合并编辑日志，减少NameNode 启动时间 文件大小设置，增大有什么影响 HDFS中的文件在物理上是分块存储 block ，块的大小可以通过配 ...
2021-10-13 12:53 0 156 推荐指数：
相关推荐
Hadoop 面试题总结(一)
1、集群的最主要瓶颈是：磁盘IO 面对大数据，读取数据需要经过IO，这里可以把IO理解为水的管道。管道越大越强，我们对于T级的数据读取就越快。所以IO的好坏，直接影响了集群对于数据的处理。 参考 ...
HDFS整体总结(面试题)
mapreduce工作流程：1、client提交数据到DFS，然后被分为多个split，然后通过inputformatter以key-value传给jobTraker。jobTraker分配工作给多个 ...
HDFS面试题
hadoop节点动态上线下线怎么操作? hdfs整体架构介绍 namenode内存包含哪些，具体如何分配 HDFS无法高效存储大量小文件，如何处理好小文件？ hdfs的压缩算法 hdfs什么时候不会去备份 ...
Hadoop面试题总结（三）——MapReduce
1、谈谈Hadoop序列化和反序列化及自定义bean对象实现序列化? 1）序列化和反序列化 （1）序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储（持久化）和网络传输。 （2）反序列化就是将收到字节序列（或其他数据传输协议）或者是硬盘的持久化数据，转换成内存中的对象 ...
Hadoop面试题
1、Hive内部表和外部表的区别？ 1、在导入数据到外部表，数据并没有移动到自己的数据仓库目录下，也就是说外部表中的数据并不是由它自己来管理的！而表则不一样； 2、在删除表的时候，Hive将 ...
Hadoop面试题
1、把数据仓库从传统关系数据库转到hadoop有什么优势？ 原关系存储方式昂贵 空间有限 hadoop支持结构化（例如 RDBMS），非结构化（例如 images，PDF，docs ）和半结构化（例如 logs，XMLs）的数据可以以可扩展和容错的方式存储在较便宜的商品机器中 ...
hadoop面试题一
1、hadoop运行的原理?xxxxxx 2、mapreduce的原理?xxxxxx 3、HDFS存储的机制?xxxxxx 4、举一个简单的例子说明mapreduce是怎么来运行的 ?xxxxxx 5、面试的人给你出一些问题,让你用mapreduce来实现？比如:现在有10个文件夹,每个 ...