Hive中rank()、row_number()函数的用法

1. 函数说明

rank() 排序相同时会重复，总数不会变

dense_rank() 排序相同时会重复，总数会减少

row_number() 会根据顺序计算

2. 操作案例

2.1 数据准备

孙悟空	语文	87
孙悟空	数学	95
孙悟空	英语	68
唐僧	语文	94
唐僧	数学	56
唐僧	英语	84
猪八戒	语文	64
猪八戒	数学	86
猪八戒	英语	84
沙僧	语文	65
沙僧	数学	85
沙僧	英语	78

　　创建hive 表，导入数据。

[fanl@centos7 ~]$ vi score.txt
[fanl@centos7 ~]$ cd /opt/modules/cdh5.14.2/hive-1.1.0-cdh5.14.2/
[fanl@centos7 hive-1.1.0-cdh5.14.2]$ bin/hive
 
hive (default)> create table score(
              > name string,
              > subject string,
              > socre int)
              > row format delimited fields terminated by '\t';
OK
Time taken: 4.504 seconds
hive (default)> load data local inpath '/home/fanl/score.txt' into table score;
Loading data to table default.score
Table default.score stats: [numFiles=1, totalSize=17239]
OK
Time taken: 0.76 seconds
hive (default)>

　　

2.2 实际操作

需求：计算每门学科成绩排名

分析：按照学科分组，再按照成绩排序，使用partition by subject order by score

（1）row_number()仅仅是加了序号

hive (default)> select name,subject,score,row_number() 
> over(partition by subject order by score desc) as rank from score;
OK
name	subject	score	rank
孙悟空	数学	95	1
猪八戒	数学	86	2
沙僧	数学	85	3
唐僧	数学	56	4
猪八戒	英语	84	1
唐僧	英语	84	2
沙僧	英语	78	3
孙悟空	英语	68	4
唐僧	语文	94	1
孙悟空	语文	87	2
沙僧	语文	65	3
猪八戒	语文	64	4

　　（2）rank() 可以显示相同的数据，下一名的排序+1，即为跳跃排序

hive (default)> select name,subject,score,rank() 
> over(partition by subject order by score desc) as rank from score;
OK
name	subject	score	rank
孙悟空	数学	95	1
猪八戒	数学	86	2
沙僧	数学	85	3
唐僧	数学	56	4
猪八戒	英语	84	1
唐僧	英语	84	1
沙僧	英语	78	3
孙悟空	英语	68	4
唐僧	语文	94	1
孙悟空	语文	87	2
沙僧	语文	65	3
猪八戒	语文	64	4

　　（3）dense_rank()，即使有相同的数据，也会按照连续排序

hive (default)> select name,subject,score,dense_rank() 
> over(partition by subject order by score desc) as rank from score;
OK
name	subject	score	rank
孙悟空	数学	95	1
猪八戒	数学	86	2
沙僧	数学	85	3
唐僧	数学	56	4
猪八戒	英语	84	1
唐僧	英语	84	1
沙僧	英语	78	2
孙悟空	英语	68	3
唐僧	语文	94	1
孙悟空	语文	87	2
沙僧	语文	65	3
猪八戒	语文	64	4