Hadoop安全模式的理解


安全模式異常:

在hadoop的實踐過程中,系統啟動的時候去修改和刪除文件有時候會報以下錯誤:

org.apache.hadoop.dfs.SafeModeException: Cannotdelete/user/hadoop/input. Name node is in safe mode.從字面上來理解:“Name nodeis in safe mode.”hadoop的namenode處於安全模式。

出現上述現象由於NameNode在啟動的時候首先進入安全模式。

安全模式啟動過程:

當 Hadoop的NameNode節點啟動時,會進入安全模式階段。在此階段,DataNode會向NameNode上傳它們數據塊的列表,讓 NameNode得到塊的位置信息,並對每個文件對應的數據塊副本進行統計。當最小副本條件滿足時,即一定比例的數據塊都達到最小副本數,系統就會退出安全模式,而這需要一定的延遲時間。當最小副本條件未達到要求時,就會對副本數不足的數據塊安排DataNode進行復制,直至達到最小副本數。而在安全模式下,系統會處於只讀狀態,NameNode不會處理任何塊的復制和刪除命令。

安全模式相關屬性的設置:

安全模式的相關屬性都在文件conf/hdfs-site.xml中指定,有如下幾個:

dfs.replication.min  指定數據塊要達到的最小副本數,默認為1;

dfs.safemode.extension   指定系統退出安全模式時需要的延遲時間,默認為30(秒);

dfs.safemode.threshold.pct 指定退出條件,需要達到最小副本數的數據塊比例,1.0.3中默認是0.95

安全模式常用命令:

hadoop dfsadmin-safemode 命令

格式:Usage: java DFSAdmin [-safemode enter | leave | get |wait]

用戶可以通過dfsadmin -safemode value 來操作安全模式,參數value的說明如下:

enter - 進入安全模式

leave - 強制NameNode離開安全模式

get  - 返回安全模式是否開啟的信息

wait  - 等待,一直到安全模式結束。

hadoop dfsadmin -safemode 命令的源碼解析:

dfsadmin的命令實現類org.apache.hadoop.hdfs.tools. DFSAdmin

安全模式命令用法:

Usage: java DFSAdmin [-safemode enter | leave | get | wait]

實現類DFSAdmin中主要處理的安全模式的命令的方法是setSafeMode核心處理邏輯為:

DistributedFileSystem dfs = (DistributedFileSystem) fs;

boolean inSafeMode = dfs.setSafeMode(action);

DFSAdmin à DistributedFileSystemà DFSClientà ClientProtocol的實現類NameNodeàFSNamesystem.

核心代碼:

  boolean setSafeMode(SafeModeAction action) throwsIOException {

    if (action != SafeModeAction.SAFEMODE_GET) {

      checkSuperuserPrivilege();

      switch(action) {

      case SAFEMODE_LEAVE: // leave safe mode

        leaveSafeMode(false);

        break;

      case SAFEMODE_ENTER: // enter safe mode

        enterSafeMode();

        break;

      }

    }

    return isInSafeMode();

  }

安全模式的實現由FSNamesystem的內部類:SafeModeInfo實現的。監控安全模式的是SafeModeMonitor內部類。

該類包含了安全模式的相關信息。當namenode進入安全模式時,將創建SafeModeInfo實例。在namenode啟動的時候,SafeModeInfo計算safe blocks,即這blocks至少有冗余的數量,並計算safe blocks在所有blocks的比例也就是FSNamesystem#blocksMap的大小。當比例達到閾值threshold,將啟動 SafeModeMonitor后台進程監控安全模式是否已經過去。當過去時,hadoop集群將離開安全模式,並銷毀自己。

FSNamesystem的初始化時initialize進入安全模式

this.safeMode = new SafeModeInfo(conf);

在啟動時創建SafeModeInfo實例時,其參數如下:

this.threshold =conf.getFloat("dfs.safemode.threshold.pct", 0.95f);

    this.extension =conf.getInt("dfs.safemode.extension", 0);

this.safeReplication =conf.getInt("dfs.replication.min", 1);

//namenode啟動時創建SafeModeInfo實例

    SafeModeInfo(Configuration conf) {

      this.threshold =conf.getFloat("dfs.safemode.threshold.pct", 0.95f);

      this.extension =conf.getInt("dfs.safemode.extension", 0);

      this.safeReplication =conf.getInt("dfs.replication.min", 1);

      this.blockTotal = 0;

      this.blockSafe = 0;

    }

//手動進入安全模式的實例構造方法

    private SafeModeInfo() {

      this.threshold = 1.5f;  //this threshold can never be reached

      this.extension = Integer.MAX_VALUE;

      this.safeReplication = Short.MAX_VALUE +1; // more than maxReplication

      this.blockTotal = -1;

      this.blockSafe = -1;

      this.reached = -1;

      enter();

      reportStatus("STATE* Safe mode isON.", true);

    }

//手動觸發的方法入口如下:

  synchronized void enterSafeMode() throws IOException {

    if (!isInSafeMode()) {

      safeMode = new SafeModeInfo();

      return;

    }

    safeMode.setManual();

    getEditLog().logSync();

    NameNode.stateChangeLog.info("STATE* Safe modeis ON. "

                              + safeMode.getTurnOffTip());

  }

SafeModeMonitor安全模式監控類,1000毫秒監控狀態。

核心代碼:

public void run() {

      while (fsRunning && (safeMode !=null && !safeMode.canLeave())) {

        try {

         Thread.sleep(recheckInterval);

        } catch(InterruptedException ie) {

        }

      }

      // leave safe mode and stop the monitor

      try {

        leaveSafeMode(true);

      } catch(SafeModeException es) { //should never happen

        String msg ="SafeModeMonitor may not run during distributed upgrade.";

        assert false : msg;

        throw newRuntimeException(msg, es);

      }

      smmthread = null;

    }

冗余模塊的復制處理過程:核心處理方法processMisReplicatedBlocks


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM