|
1.不同版本間集群是否可以遷移？
2.distcp命令的作用是什么？
3..MEAT表的作用是什么？
4.相互不通信集群，數據該如何遷移？
HBase遷移數據方案一（集群互聯）
花了一天的時間查資料做測試，略微的總結了一下hbase數據遷移的方法。
一、需要在hbase集群停掉的情況下遷移
步驟：
(1)執行Hadoop distcp -f filelist "hdfs://new cluster ip:9000/hbasetest"
(2)在new cluster執行./hbase org.jruby.Main add_table.rb /hbase/table20111222，將拷貝來的表加入到.MEAT.中（會出現region的數目不一致的問題，這個需要重啟hase才能解決）
說明：(1)filelist為hdfs上的列表文件，內容如下：
/hbase/table20111222
/hbase/table20120131
(2)如果兩個集群的hadoop版本不一致，需要在new cluster上執行hadoop distcp，否則會出現讀寫異常；
二、在集群運行的時候進行數據遷移
1、Replication：
這個是動態的備份（可以理解為實時備份）
步驟：
(1)在old cluster將需要遷移的表屬性進行修改：
disable 'your_table'
alter 'your_table', {NAME => 'family_name', REPLICATION_SCOPE => '1'}
enable 'your_table'
(2)打開new cluster集群的replication，修改hbase-site.xml
<property>
<name>hbase.replication</name>
<value>true</value>
</property>
(3)添加peer，在new cluster的hbase shell中執行：add_peer '1','old cluster ip:2181:/hbase'，啟動replication，執行start_replication
說明：需要兩個集群的hadoop版本一致，否則出現讀寫錯誤
2、CopyTable：
可以在本集群中拷貝一張表，也可以將表拷貝到其他的集群中。
命令：./hbase org.apache.hadoop.hbase.mapreduce.CopyTable --peer.adr=new cluster ip:2181:/hbase zy_test
說明：(1)拷貝完成，不需要重啟機器，在new cluster中就可以看到該表;
(2)穩定性還需要考慮，測試過程中遇到一個問題，拷貝過程中始終都停留在這里Lookedup root region location, 查看日志沒有什么錯誤和相關的信息。
3、Export and Import
步驟：
(1)在old cluster上執行：./hbase org.apache.hadoop.hbase.mapreduce.Export test hdfs://new cluster ip:9000/zhuangyang/test
(2)在new cluster上執行：./hbase org.apache.hadoop.hbase.mapreduce.Import test hdfs://new cluster ip:9000/zhuangyang/test
說明：
(1)一定要寫全路徑，不能寫相對路勁;
(2)在import前，需要將表事先在new cluster中創建好.
以上都是在old cluster和new cluster網絡相通的情況下實現數據遷移的辦法。
HBase遷移數據方案二（兩個集群不能通信）
兩個可以直接通信的集群之間很容易拷貝數據從而遷移HBase數據。
但是如果兩個集群在不同的網絡，沒法通信呢？
今天測試了一個方案：
把某個表(table1)從集群1遷移到集群2（兩個集群互相看不見），步驟如下
1、拷貝集群1的表文件到本地磁盤 :
/app/cloud/Hadoop/bin/hadoop fs -copyToLocal /hbase/table1 /data0/hbase-backup/table1
2、對於文件操作，很簡單吧，隨便你怎么去拷貝來拷貝去
3、如果集群2中也有對應的表文件，那么刪除掉，然后拷貝
/app/cloud/hadoop/bin/hadoop fs -rm -r /hbase/table1
/app/cloud/hadoop/bin/hadoop fs -copyFromLocal /data0/hbase-backup/table1 /hbase/table1 (該步驟一定要使用對應的賬戶：sudo -u hbase hdfs dfs -copyFromLocal XXXX)
4、重置該表在.META.表中的分區信息（.META.表一般為“hbase:metadata"）
bin/hbase org.jruby.Main bin/add_table.rb /hbase/table1
《《《《備注： 如果第四步找不到add_table.rb文件，可以采用最根本的方式來修復元數據：
hbase hbck 只做檢查
hbase hbck -fixMeta 根據region目錄中的.regioninfo，生成meta表
hbase hbck -fixAssignments 把meta表中記錄的region分配給regionserver
hbase hbck -fixHdfsOrphans 修復.regioninfo文件
hbase hbck -repair 表名
》》》》
另外：
1、如果表的數據量過大呢？ 那么按照該表在HDFS中的文件夾數據，分批拷貝。
2、如果兩個集群可以互相通信呢？ 采用第一種方案即可 3、關聯hbase中已經存在的表
CREATE EXTERNAL TABLE if not exists notebook(
row string,
nl string,
ct string,
nbn string
)
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES('hbase.columns.mapping' = ':key,nbi:nl,nbi:ct,nbi:nbn')
TBLPROPERTIES('hbase.table.name' = 'nb');
|
