这篇分析一下namenode 写edit log的过程。 关于namenode日志,集群做了如下配置 这个配置是说namenode写edit log需要往两个地方写，第一个是/home/wudi/hadoop/nn,namenode本地文件系统,另外一个qjournal,这是一个共享 ...

执行start-dfs.sh脚本后，集群是如何启动的？ 本文阅读并注释了start-dfs脚本，以及namenode和datanode的启动主要流程流程源码。 阅读源码前准备 源码获取 拉取Apache Hadoop官方源码 https://github.com/apache ...

NameNode&Secondary NameNode工作机制 1）第一阶段：namenode启动 （1）第一次启动namenode格式化后，创建fsimage和edits文件。如果不是第一次启动，直接加载编辑日志和镜像文件到内存。 （2）客户端对元数据进行增删改的请求 ...

datanode的介绍 一个典型的HDFS系统包括一个NameNode和多个DataNode。DataNode是hdfs文件系统中真正存储数据的节点。 每个DataNode周期性和唯一的NameNode通信，还时不时和hdfs客户端代码以及其他datanode通信。 datanode ...

以写文件为例，串联整个流程的源码： 1. DistributedFileSystem 继承并实现了FileSystem，该对象是终端用户和hadoop分布式文件系统交互的接口。 原文说明： 调用create方法： 2. DFSClient ...

参考：https://blog.csdn.net/wild46cat/article/details/53423472 hadoop2.7.3在集群中配置多个namenode(federation cluster)首先需要说明的是，在集群中配置多个namenode和在集群中使 ...

NN与2NN工作机制 思考：NameNode中的元数据是存储在哪里的？ 假设存储在NameNode节点的硬盘中，因为经常需要随机访问和响应客户请求，必然效率太低，所以是存储在内存中的 但是，如果存储在内存中，一旦断电，元数据丢失，整个集群便无法工作，因此会在硬盘中产生备份 ...

1. namenode介绍 namenode管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件fsimage和编辑日志文件edits。NameNode也记录着每个文件中各个块所在的数据节点信息，但它并不永久保存块 ...