1、NameNode啟動流程的初始化操作

 

 閱讀源碼第一步是要編譯源碼；

源碼版本：hadoop2.6+ ~ hadoop2.7 這個范圍均可，改動不是特別大

編譯源碼教程連接：https://www.jianshu.com/p/a66ab0235fb9

https://www.cnblogs.com/hequn/articles/4839689.html

ps. 編譯出錯很常見不要慌 ，只要確保hadoop需要的依賴是正確的（比如protocol），就沒問題！

1、查看源碼NameNode類

在namenode中有一段main函數，說明 我們通過命令啟動namenode的時候，肯定是通過這個main函數來執行的（腳本：hadoop-daemon.sh  、hdfs）：

public static void main(String argv[]) throws Exception {
    if (DFSUtil.parseHelpArgument(argv, NameNode.USAGE, System.out, true)) {
      System.out.println("####參數校驗#####");
      System.exit(0);
      //hadooop namenode -format
      //hadoop -datemon.sh start namenode
      //hadoop-datemon.sh start nn
    }

    try {
      //啟動打印日志
      StringUtils.startupShutdownMessage(NameNode.class, argv, LOG);
      //TODO 創建NameNode核心代碼
      NameNode namenode = createNameNode(argv, null);
      if (namenode != null) {
        //就是線程的join
        //會使主線程進入等待池並等待t線程執行完畢后才會被喚醒
        namenode.join();
      }
    } catch (Throwable e) {
      LOG.error("Failed to start namenode.", e);
      terminate(1, e);
    }
  }

 

 

2、查看核心代碼：createNameNode

NameNode namenode = createNameNode(argv, null);

點擊進入createNameNode(argv , null)函數

顯然我們是啟動namenode，所有都匹配不上，因此會走最后一段

public static NameNode createNameNode(String argv[], Configuration conf)
      throws IOException {
    LOG.info("createNameNode " + Arrays.asList(argv));
    if (conf == null)
      conf = new HdfsConfiguration();
    StartupOption startOpt = parseArguments(argv);
    if (startOpt == null) {
      printUsage(System.err);
      return null;
    }
    //將啟動參數加入到配置中
    setStartupOption(conf, startOpt);
    /**
     * 我們在集群中操作 ， 比如 ：
     * hdfs namenode -format
     * hadoop fs -put XXX /
     * 正常情況下，是先啟動namenode
     * hadoop-daemon.sh start namenode
     * */
    switch (startOpt) {
      //格式化
      case FORMAT: {//hadoop namenode -format
        boolean aborted = format(conf, startOpt.getForceFormat(),
                startOpt.getInteractiveFormat());
        terminate(aborted ? 1 : 0);
        return null; // avoid javac warning
      }
      // 產生集群ID.
      case GENCLUSTERID: {
        System.err.println("Generating new cluster id:");
        System.out.println(NNStorage.newClusterID());
        terminate(0);
        return null;
      }
      //定版本
      case FINALIZE: {
        System.err.println("Use of the argument '" + StartupOption.FINALIZE +
                "' is no longer supported. To finalize an upgrade, start the NN " +
                " and then run `hdfs dfsadmin -finalizeUpgrade'");
        terminate(1);
        return null; // avoid javac warning
      }
      //回滾
      case ROLLBACK: {
        boolean aborted = doRollback(conf, true);
        terminate(aborted ? 1 : 0);
        return null; // avoid warning
      }
      //同步active節點的快照（配置完HA需要運行這個命令同步active節點的快照（配置完HA需要運行這個命令
      case BOOTSTRAPSTANDBY: {
        String toolArgs[] = Arrays.copyOfRange(argv, 1, argv.length);
        int rc = BootstrapStandby.run(toolArgs, conf);
        terminate(rc);
        return null; // avoid warning
      }
      //向備用節點共享一組edits日志
      case INITIALIZESHAREDEDITS: {
        boolean aborted = initializeSharedEdits(conf,
                startOpt.getForceFormat(),
                startOpt.getInteractiveFormat());
        terminate(aborted ? 1 : 0);
        return null; // avoid warning
      }
      //啟動冷備或者溫備名字節點
      case BACKUP:
      case CHECKPOINT: {
        NamenodeRole role = startOpt.toNodeRole();
        DefaultMetricsSystem.initialize(role.toString().replace(" ", ""));
        return new BackupNode(conf, role);
      }
      //恢復損壞的元數據以及文件系統
      case RECOVER: {
        NameNode.doRecovery(startOpt, conf);
        return null;
      }
      //檢查配置的正確性
      case METADATAVERSION: {
        printMetadataVersion(conf);
        terminate(0);
        return null; // avoid javac warning
      }
      //以升級的方式啟動
      case UPGRADEONLY: {
        DefaultMetricsSystem.initialize("NameNode");
        new NameNode(conf);
        terminate(0);
        return null;
      }
      //正常啟動NameNode
      default: {
        //初始化metric系統
        DefaultMetricsSystem.initialize("NameNode");
        //TODO
        return new NameNode(conf);
      }
    }
  }

NameNode這個類，里面有一些成員變量，還是很重要，很常見的；比如

//NameNode核心成員變量用來管理元數據（實現對DataNode、Block的管理以及讀寫日志）
  protected FSNamesystem namesystem;
  //保存配置文件的信息
  protected final Configuration conf;
  //保存NameNode的角色信息
  protected final NamenodeRole role;
  //保存NameNode的狀態（HA）
  private volatile HAState state;
  //是否開啟了高可用(HA)
  private final boolean haEnabled;
  //高可用上下文
  private final HAContext haContext;
  //NameNode核心成員變量提供RPC服務（提供RPC服務是DataNode和NameNode通信和外部命令管理NameNode的窗口）
  private NameNodeRpcServer rpcServer;

在這個Namenode的構造參數里面，主要是：

1、對namenode做參數的設置（fs.defaultFS、rpc地址等）

2、初始化

3、根據初始化處理的結果，namenode進入對應的狀態（active、backup、standby）

/**
   * 1、對namenode做參數的注冊（fs.defaultFS、rpc地址等）
   * 2、初始化
   * 3、根據初始化處理的結果，namenode進入對應的狀態（active、backup、standby）
   * */
  protected NameNode(Configuration conf, NamenodeRole role) 
      throws IOException { 
    this.conf = conf;
    this.role = role;//保存NameNode的角色信息
    //設置clients訪問nomenode或nameservice的訪問地址  配置項fs.defaultFS：hadoop01:9000
    setClientNamenodeAddress(conf);
    String nsId = getNameServiceId(conf);
    String namenodeId = HAUtil.getNameNodeId(conf, nsId);
    //ha相關
    this.haEnabled = HAUtil.isHAEnabled(conf, nsId);
    //根據用戶設置的啟動參數，確定啟動以后的初始狀態，如果是正常啟動，則全部直接進入Standby狀態
    state = createHAState(getStartupOption(conf));
    this.allowStaleStandbyReads = HAUtil.shouldAllowStandbyReads(conf);
    //TODO 在創建HA的時候，也啟動了standByNameNode的服務
    this.haContext = createHAContext();



    try {
      //給聯邦模式下准備的，主要是設置聯邦模式下namenode的地址和RPC地址
      initializeGenericKeys(conf, nsId, namenodeId);
      //TODO
      initialize(conf);
      // HA相關
      try {
        haContext.writeLock();
        state.prepareToEnterState(haContext);
        state.enterState(haContext);
      } finally {
        haContext.writeUnlock();
      }
    } catch (IOException e) {
      this.stop();
      throw e;
    } catch (HadoopIllegalArgumentException e) {
      this.stop();
      throw e;
    }
    this.started.set(true);
  }

 

 

那么關鍵信息 就是initialize，所以我們接下來重點來看initialize

initialize代碼塊包含了：

1、metrics監控的信息設置
2、hadoop的kerberos的安全認證
3、啟動namendoe的web服務
4、加載元數據
5、創建RPC
6、啟動公共服務startCommonServices （比如：啟動RPC ， 啟動磁盤資源檢查線程等工作）

具體內容，下一篇介紹