1、order by
hive中的order by和传统sql中的order by 一样,会对数据做全局排序,加上排序,会新启动一个jod进行排序,会把所有数据放到同一个reduce中进行处理,不管数据多少,
不管文件多少,都启用一个reduce进行处理。
注意:
(1):order by后面可以有多列进行排序,默认按字典排序
(2):order by为全局排序
(3):order by需要reduce操作,且只有一个reduce,无法配置(因为多个reduce无法完成全局排序)。
order by操作会受到如下属性的制约
1、set hive.mapred.mode=nonstrict;
2、set hive.mapred.mode=strict;
注:如果在strict模式下使用order by语句,那么必须要在语句上加上limit关键字,因为执行order by的时候只能启动单个reduce,如果排序
的结果集过大,那么执行时间会非常漫长
如:原始数据为
id money name
2 15 d
2 13 b
4 13 g
1 14 c
1 12 a
3 11 h
3 14 f
select id,sum(money) from t group by id 这条语句只用一个job就ok,
select id,sum(money) from t group by id order by id 如果加上order by 就会多一个job进行排序操作
2、sort by
sort by是局部排序,会在每个reduce端做排序,每个reduce端是排序的,也就是每个reduce出来的数据是有序的,但是全部不一定有序,除非一个reduce,一般情况下可以先进行局部排序完成后,再进行全局排序,会提高不少效率。
sort by不是全局排序,其在数据进入reducer前完成排序,因此如果用sort by进行排序,并且设置mapred.reduce.tasks>1,则sort by会保证每个reducer的输出有序,并不是全局有序。sort by 不受 hive.mapred.mode属性的影响,sort by的数据只能保证在同一个reduce中的数据可以指定字段排序。使用sort by可以指定执行的reduce个数(通过set mapred.reduce.tasks=n来指定),对输出的数据再执行归并排序,即可得到全部结果。
select id,sum(money) from t group by id sort by id; 这条语句也不会增加job,它在reduce端直接进行排序。
3、distribute by
distribute by是控制在map端如何拆分数据给reduce端的。hive会根据distribute by后面列,对应reduce的个数进行分发,默认是采用hash算法。sort by为每个reduce产生一个排序文件。在有些情况下,你需要控制某个特定行应该在哪个reducer,这通常是为了后续的聚集操作。distribute by 刚好可以做这件事。因此,distribute by经常和sort by配合使用。
将数据打乱,避免数据倾斜的一个方式
distribute by pmod(cast(rand()*1000 as int),50);
注:Distribute by和sort by的使用场景
1、Map输出的文件大小不均。
2、Reduce输出文件大小不均。
3、小文件过多。
4、文件超大。
4、cluster by
cluster by 是distribute by和sort by功能的结合,cluster by只能指定倒序排列。