hdfs默認數據存放路徑


1.{hadoop.tmp.dir}:/tmp/hadoop-{user.name}

  修改路徑到當前用戶目錄下:

    /home/lyxy/tmp/hadoop

  注意:格式化的含義-->創建dfs/name/fsimage和edits文件,針對namenode守護進程的。

  開啟namenode守護進程失敗:

    a.重新格式化,原有HDFS的數據全部刪除掉(不建議使用)

    b.復制{/tmp/hadoop-hyxy/dfs/name}到{/home/hyxy/tmp/hadoop/dfs}路徑下,重新開啟namenode守護進程,問題解決,因為namenode守護進程開啟的時候需要加載fsimage和edits文件到內存,然而找不到這兩個文件,所以開啟失敗。

2.查看系統日志

  {HADOOP_HOME/logs}

3.分別設置dfs相關目錄,在hdfs-default.xml

  name目錄

    <property>

      <name>dfs.namenode.name.dir</name>

      <value>file://${hadoop.tmp.dir}/dfs/name,file://${hadoop.tmp.dir}/dfs/name1</value>
      <description>
        確定DFS名稱節點應在本地文件系統的哪個位置存儲名稱表(fsimage)。
       如果這是一個以逗號分隔的目錄列表,則名稱表將被復制到所有目錄中,以實現冗余
       </description>
    </property>

  data目錄

    <property>

      <name>dfs.datanode.data.dir</name>
      <value>file://${hadoop.tmp.dir}/dfs/data</value>
      <description>
確定DFS數據節點應該在本地文件系統上存儲塊的位置。
  如果這是以逗號分隔的目錄列表,則數據將存儲在所有已命名的目錄中,通常位於不同的設備上。 應該為HDFS存儲策略標記相應的存儲類型([SSD] / [磁盤] / [存檔] / [RAM_DISK])。
如果目錄沒有顯式標記存儲類型,則默認存儲類型為DISK。 如果本地文件系統權限允許,則不存在的目錄將被創建。
      </description>
    </property>

 

  namesecondary目錄

    <property>

      <name>dfs.namenode.checkpoint.dir</name>
      <value>file://${hadoop.tmp.dir}/dfs/namesecondary</value>
      <description>
確定本地文件系統上DFS輔助名稱節點應該存儲要合並的臨時圖像的位置。
  如果這是一個以逗號分隔的目錄列表,則圖像將復制到所有目錄中以實現冗余。
      </description>
    </property>

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM