转自： http://hackershell.cn/?p=821 NameNode的HA可以个人认为简单分为共享editLog机制和ZKFC对NameNode状态的控制 在此之前，我先提几个问题： 一般导致NameNode切换的原因 ZKFC的作用是什么？如何判断一个 ...

本文源码：GitHub·点这里 || GitEE·点这里 一、存储机制 1、基础描述 NameNode运行时元数据需要存放在内存中，同时在磁盘中备份元数据的fsImage，当元数据有更新或者添加元数据时，修改内存中的元数据会把操作记录追加到edits日志文件中，这里不包括查询操作 ...

首先我们看一下NAMENODE: 我们已经知道了NAMENODE作为DATANODE的管理者，其重要性不言而喻，那么NAMENODE是怎么管理数据的呢？ 首先，我们看一下上面这张图，每次客户端读写数据都要先经过NAMENODE，其实就是先查询NAMENODE中的元数据，那么问题来了 ...

这个bug确实恶心的不要不要的。我一开始以为是我自己打开方式（毕竟不熟悉搭建流程，别人怎么做，我照着做） 我照着视频或者博客编写hdfs-site.xml(dfs.ha.fencin ...

报错背景 hadoop集群安装完成后进行格式化操作，不成功。 报错现象 # hadoop namenode -format 报错原因 （1）确实有可能安装的时候格式化不成功； （2）也有可能是操作顺序有问题，hadoop集群安装的时候没有将active-namenode中 ...

hdfs haadmin -transitionToActive --forcemanual nn1 将nn1强制转换为Active hdfs haadmin -transitionToStandb ...

自己在虚拟机上建立伪分布环境，第一天还一切正常，后来发现每次重新开机以后都不能正常启动，在start-dfs.sh之后jps一下发现namenode不能正常启动，按提示找到logs目录下namenode的启动log发现如下异常 ...

2019-11-27 主节点：NameNode NameNode管理文件系统的命名空间。它维护着文件系统树及整棵树内所有的文件和目录。这些信息以两个文件形式永久保存在本地磁盘上：命名空间镜像文件和编辑日志文件。NameNode也记录着每个文件中各个块所在 ...