Hbase Export與Import完成數據遷移


Hbase1.0環境升級Hbase2.0環境,數據從1.0遷移到2.0

1.Export導出Hbase表數據到本地文件系統
   hbase org.apache.hadoop.hbase.mapreduce.Export '表名' file://本地文件目錄  需要導出的數據版本 需要導出數據的起始時間戳  需要導出數據的結束時間戳

eg:hbase org.apache.hadoop.hbase.mapreduce.Export 'test' file:///var/tmp/testBak 1 1589904000000 1590076800000 

導出的的HDFS文件路徑,不加‘file://’則默認導入到hdfs目錄上,通過 hadoop -ls '文件目錄查看'.

 

2.Import導出Hbase表數據到本地文件系統

   1>預先在新環境中創建一個與原始表結構相同的表結構,不然會報錯

 

    2>運行Import導數據命令

      需要將導出的文件傳遞到新機器上,可通過SCP協議傳遞數據

       hbase org.apache.hadoop.hbase.mapreduce.Driver import 'testBak' file:///var/tmp/testBak

     hdfs則只需切換協議名稱,也可以避免上傳原始導出的數據文件

      hbase org.apache.hadoop.hbase.mapreduce.Driver import 'testBak' hdfs://IP/var/tmp/testBak


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM