利用pig导出hbase文件为txt或者csv格式


利用pig导出hbase文件为txt或者csv格式

 

如下例子,将hbase的表test导出文件为txt格式:

[root@datacsu2 lilip]# vi loadData.pig

source = LOAD 'hbase://test' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage(

'info:CPUCpuUtil

 info:MemoryUsage' ,

 '-loadKey true ') AS (

 col1:chararray,col2:chararray,col3:chararray);

STORE source INTO '/hilod/result_file' USING PigStorage(',');

 

//其中info:* 为hbase表test中你想导出的列,'-loadKey true ' 代表保存rowkwy。

//注意后面包含了3个col(列名+rowkey)。

//接下来执行运行该脚本的命令:

[root@datacsu2 lilip]# cat pig.sh

pig -x tez /data1/lilip/loadData.pig

 

// 最后你将在hdfs:// hilod/result_file 下找到该导出文件。若文件太大,会将其分为几个子文件,可以执行hdfs命令将子文件合并,如:

#su hdfs

#hadoop fs –getmerge / hilod/result_file /tmp/result.txt

//注意:合并后的文件是本地文件。

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM