利用pig導出hbase文件為txt或者csv格式


利用pig導出hbase文件為txt或者csv格式

 

如下例子,將hbase的表test導出文件為txt格式:

[root@datacsu2 lilip]# vi loadData.pig

source = LOAD 'hbase://test' USING org.apache.pig.backend.hadoop.hbase.HBaseStorage(

'info:CPUCpuUtil

 info:MemoryUsage' ,

 '-loadKey true ') AS (

 col1:chararray,col2:chararray,col3:chararray);

STORE source INTO '/hilod/result_file' USING PigStorage(',');

 

//其中info:* 為hbase表test中你想導出的列,'-loadKey true ' 代表保存rowkwy。

//注意后面包含了3個col(列名+rowkey)。

//接下來執行運行該腳本的命令:

[root@datacsu2 lilip]# cat pig.sh

pig -x tez /data1/lilip/loadData.pig

 

// 最后你將在hdfs:// hilod/result_file 下找到該導出文件。若文件太大,會將其分為幾個子文件,可以執行hdfs命令將子文件合並,如:

#su hdfs

#hadoop fs –getmerge / hilod/result_file /tmp/result.txt

//注意:合並后的文件是本地文件。

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM