hive多分区表创建+数据导入


步骤:建分区表、建临时表、临时表数据写入、临时表写入数据到分区表

 

1、分区参数介绍

 
  • hive.exec.dynamic.partition:是否启动动态分区。默认false。

  • hive.exec.dynamic.partition.mode:打开动态分区后,动态分区的模式为strict和nonstrict。

    • strict可设置为静态和半动态,要求至少包含一个静态分区列。

    • nonstrict可设置为静态、半动态和动态,动态必须设置此参数。

  • hive.exec.max.dynamic.partitions:允许的最大的动态分区的个数。默认1000。

  • hive.exec.max.dynamic.partitions.pernode:一个mapreduce job所允许的最大的动态分区的个数。默认是100。

 

2、分区表的创建

 

(1)分区表创建

 
create table test.user_list( user_id string, msisdn string, imsi string) partitioned by (city string,sdate string) row format delimited fields terminated by ','; 
 

(2)临时表创建(辅助分区表测试)

 
create table test.user_list_tmp( user_id string, msisdn string, imsi string city string, sdate string) row format delimited fields terminated by ','; 
 

3、数据插入方式

 

(1)静态分区插入数据:

 
insert into table user_list partition(city='HANGZHOU',sdate='20200101') select t.user_id, t.msisdn, t.imsi from test.user_list_tmp t 
 

(2)动静混合分区插入数据

 
set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=strick; --set hive.exec.dynamic.partition.mode=nonstrick; insert into table user_list partition(city='HANGZHOU',sdate='${sdate}') select t.user_id, t.msisdn, t.imsi, t.sdate from test.user_list_tmp t 
 

注意:动静分区混合时,静态分区参数必须放置在前面。

 

(3)动态分区插入数据

 
set hive.exec.dynamic.partition=true; set hive.exec.dynamic.partition.mode=nonstrick; insert into table user_list partition(city='${city}',sdate='${sdate}') select t.user_id, t.msisdn, t.imsi, t.city, t.sdate from test.user_list_tmp t 
 

4、insert into 和 insert overwrite

 

insert into示例:

 
insert into table user_list partition(city='HANGZHOU',sdate='20200101') select t.user_id, t.msisdn, t.imsi from test.user_list_tmp t 
 

insert overwrite示例:

 
insert overwrite table user_list partition(city='HANGZHOU',sdate='20200101') select t.user_id, t.msisdn, t.imsi from test.user_list_tmp t 
 

两者区别:insert into直接追加到表中数据的尾部,而insert overwrite会重写数据,既先进行删除,再写入。

 

 

转自:http://blog.sina.com.cn/s/blog_155cf0b760102x1ij.html


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM