近期經常將現場的數據帶回公司測試,所以寫下該文章,梳理一下思路。
1.首先要查詢相應的hive表,比如我要將c_cons這張表導出,我先查出hive中是否有這張表。
查出數據,證明該表在hive中存在。
2.查詢該表的表結構(建表語句),為了更快的將表數據導入的公司的hive表中。查詢表結構語句:show create table c_cons
3.根據你hive配置地址找到表在hadoop集群中的文件位置。
我的c_cons表的位置在:/user/hive/warehouse/c_cons里面。
4.在集群上輸入:hadoop fs -get /user/hive/warehouse/c_cons,變可將文件下載到本地。不指定位置就下載到root目錄下(shell命令參考:http://hadoop.apache.org/docs/r1.0.4/cn/hdfs_shell.html)
5.有時候文件過大,拷貝太占U盤空間,所以要進行打包。
-r 壓縮 c_cons目錄下的所有文件,壓縮成的文件名為c_cons.zip (linux壓縮解壓參考:http://jingyan.baidu.com/article/6d704a13f9981a28da51ca70.html)
6.然后將c_cons.zip拷到U盤,帶走。
7.回到公司,將c_cons.zip放在集群本地,進行解壓。
解壓到默認目錄直接:unzip c_cons.zip 就可以了。
如果指定目錄,例如解壓到home目錄下 unzip c_cons.zip –d /home/
8.將解壓出來的文件上傳到hadoop集群,我放在集群的/jsdata/目錄下。使用shell命令:hadoop fs -put /home/c_cons /jsdata/
9.然后根據查詢出的建表語句建表。
10.將數據導入到hive表中:load data inpath '/jsdata/c_cons into table c_cons




