如何將hive表中的數據導出


        近期經常將現場的數據帶回公司測試,所以寫下該文章,梳理一下思路。

1.首先要查詢相應的hive表,比如我要將c_cons這張表導出,我先查出hive中是否有這張表。

查出數據,證明該表在hive中存在。

2.查詢該表的表結構(建表語句),為了更快的將表數據導入的公司的hive表中。查詢表結構語句:show create table c_cons

image

3.根據你hive配置地址找到表在hadoop集群中的文件位置。

我的c_cons表的位置在:/user/hive/warehouse/c_cons里面。

4.在集群上輸入:hadoop fs -get /user/hive/warehouse/c_cons,變可將文件下載到本地。不指定位置就下載到root目錄下(shell命令參考:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html

image

image

5.有時候文件過大,拷貝太占U盤空間,所以要進行打包。

image

-r 壓縮 c_cons目錄下的所有文件,壓縮成的文件名為c_cons.zip (linux壓縮解壓參考:http://jingyan.baidu.com/article/6d704a13f9981a28da51ca70.html

6.然后將c_cons.zip拷到U盤,帶走。

7.回到公司,將c_cons.zip放在集群本地,進行解壓。

解壓到默認目錄直接:unzip c_cons.zip 就可以了。

如果指定目錄,例如解壓到home目錄下 unzip c_cons.zip –d /home/

image

8.將解壓出來的文件上傳到hadoop集群,我放在集群的/jsdata/目錄下。使用shell命令:hadoop fs -put /home/c_cons /jsdata/

9.然后根據查詢出的建表語句建表。

10.將數據導入到hive表中:load data inpath '/jsdata/c_cons into table c_cons


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM