利用pig導出hbase文件為txt或者csv格式
如下例子,將hbase的表test導出文件為txt格式:
[root@datacsu2 lilip]# vi loadData.pig
source = LOAD 'hbase://test' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage(
'info:CPUCpuUtil
info:MemoryUsage' ,
'-loadKey true ') AS (
col1:chararray,col2:chararray,col3:chararray);
STORE source INTO '/hilod/result_file' USING PigStorage(',');
//其中info:* 為hbase表test中你想導出的列,'-loadKey true ' 代表保存rowkwy。
//注意后面包含了3個col(列名+rowkey)。
//接下來執行運行該腳本的命令:
[root@datacsu2 lilip]# cat pig.sh
pig -x tez /data1/lilip/loadData.pig
// 最后你將在hdfs:// hilod/result_file 下找到該導出文件。若文件太大,會將其分為幾個子文件,可以執行hdfs命令將子文件合並,如:
#su hdfs
#hadoop fs –getmerge / hilod/result_file /tmp/result.txt
//注意:合並后的文件是本地文件。