头歌（Educoder）实践教学平台——Hive综合应用案例

说明

　　【适用平台】头歌（Educoder）实践教学平台

 

　　【适用实训】

　　　　一、Hive综合应用案例——学生成绩查询

　　　　二、Hive综合应用案例——用户学历查询

　　　　三、Hive综合应用案例——用户搜索日志分析

　　【注意】

　　　　看清楚上面说的实训是不是和你需要做的实训是同一个实训！！！

　　　　如果是同一个实训，直接复制粘贴代码，然后点击测评即可。

　　【发文时间】2021-05-26 16:03

　　【更新时间】2022-04-12

　　【更新内容】

　　　　【新增】Hive综合应用案例——学生成绩查询——第1关：计算每个班的语文总成绩和数学总成绩

　　　　【新增】Hive综合应用案例——学生成绩查询——第2关：查询选修了3门以上的课程的学生姓名

　　　　【新增】Hive综合应用案例——用户搜索日志分析——第1关：2018年点击量最高的10个网站域名

　　　　【新增】Hive综合应用案例——用户搜索日志分析——第2关：同一种搜索词，哪个网站域名被用户访问最多

　　　　【新增】Hive综合应用案例——用户搜索日志分析——第3关：每月最火的搜索词

　　【更新说明】

　　　　以上【新增】内容未测试是否能通过！！！

　　　　以上【新增】内容未测试是否能通过！！！

　　　　以上【新增】内容未测试是否能通过！！！

正文

一、Hive综合应用案例 — 学生成绩查询

• 第 1 关：计算每个班的语文总成绩和数学总成绩

---------- 禁止修改 ----------
    drop database if exists mydb cascade;
    set hive.auto.convert.join = false;
set hive.ignore.mapjoin.hint=false;
---------- 禁止修改 ----------

---------- begin ----------
---创建mydb数据库
create database if not exists mydb;
---使用mydb数据库
use mydb;

---创建表score
create table if not exists score(
name string comment '姓名',
chinese string comment '语文成绩',
maths string comment '数学成绩'
)
row format delimited fields terminated by ','
stored as textfile;
---导入数据：/root/data/step1_files/score.txt
load data local inpath '/root/data/step1_files/score.txt' into table score;

--创建表class
create table if not exists class(
stuname string comment '姓名',
classname string comment '所在班级'
)
row format delimited fields terminated by ','
stored as textfile;
---导入数据：/root/data/step1_files/class.txt
load data local inpath '/root/data/step1_files/class.txt' into table class;

--计算每个班的语文总成绩和数学总成绩，要求有哪科低于60分，该名学生成绩不计入计算。
select t1.classname,t1.chinese,t2.maths
from(
select c.classname classname,sum(s.chinese) chinese
from class c,score s
where c.stuname=s.name and s.chinese>=60
group by c.classname) as t1,(
select c.classname classname,sum(s.maths) maths
from class c,score s
where c.stuname=s.name and s.maths>=60
group by c.classname) as t2
where t1.classname=t2.classname;
---------- end ---------- 

• 第 2 关：查询选修了3门以上的课程的学生姓名

---------- 禁止修改 ----------
 drop database if exists mydb cascade;
  set hive.auto.convert.join = false;
set hive.ignore.mapjoin.hint=false;
---------- 禁止修改 ----------

---------- begin ----------
---创建mydb数据库
create database if not exists mydb;

---使用mydb数据库
use mydb;

---创建表my_stu
create table if not exists my_stu(
id string comment '学生id',
name string comment '姓名',
sex string comment '性别',
age string comment '年龄',
col string comment '所选的系'
)
row format delimited fields terminated by ','
stored as textfile;
---导入数据：/root/data/step2_files/my_student.txt
load data local inpath '/root/data/step2_files/my_student.txt' into table my_stu;

--创建表my_score
create table if not exists my_score(
    id string comment '学生id',
    courseid string comment '课程id',
    score string comment '成绩'
)
row format delimited fields terminated by ','
stored as textfile;
---导入数据：/root/data/step2_files/my_score.txt
load data local inpath '/root/data/step2_files/my_score.txt' into table my_score;

--创建表my_course
create table if not exists my_course(
courseid string comment '课程id',
coursename string comment '课程名称'
)
row format delimited fields terminated by ','
stored as textfile;
---导入数据：/root/data/step2_files/my_course.txt
load data local inpath '/root/data/step2_files/my_course.txt' into table my_course; 

---查询选修了3门以上的课程的学生姓名。
select my_stu.name, new_table.c_s 
from my_stu
join
    (select id,count(courseid) as c_s from my_score group by my_score.id having count(courseid) >= 3) as new_table
on my_stu.id = new_table.id;

---------- end ----------

• 第 3 关：课程选修人数

---------- 禁止修改 ----------
 drop database if exists mydb cascade;
  set hive.auto.convert.join = false;
set hive.ignore.mapjoin.hint=false;
---------- 禁止修改 ----------


---------- begin ----------
---创建mydb数据库
create database if not exists mydb;



---使用mydb数据库
use mydb;



---创建表my_stu
create table if not exists my_stu(
id string comment '学生id',
name string comment '姓名',
sex string comment '性别',
age string comment '年龄',
col string comment '所选的系')
row format delimited fields terminated by ','
stored as textfile;
---导入数据：/root/data/step2_files/my_student.txt
load data local inpath '/root/data/step2_files/my_student.txt' into table my_stu;



--创建表my_score
create table if not exists my_score(
id string comment '学生id',
courseid string comment '课程id',
score string comment '成绩')
row format delimited fields terminated by ','
stored as textfile;
---导入数据：/root/data/step2_files/my_score.txt
load data local inpath '/root/data/step2_files/my_score.txt' into table my_score;



--创建表my_course
create table if not exists my_course(
courseid string comment '课程id',
coursename string comment '课程名称')
row format delimited fields terminated by ','
stored as textfile;
---导入数据：/root/data/step2_files/my_course.txt
load data local inpath '/root/data/step2_files/my_course.txt' into table my_course;



---查询每个课程有多少人选修。
select t2.coursename, count(*)
from
    (
        select t1.name name, course.coursename coursename
        from
            (
                select stu.name name, score.courseid courseid
                from my_score score, my_stu stu
                where score.id = stu.id
            ) as t1,
            my_course course
        where t1.courseid = course.courseid
    )
    as t2
group by t2.coursename;
---------- end ----------

• 第 4 关：shujuku课程的平均成绩

---------- 禁止修改 ----------
 drop database if exists mydb cascade;
  set hive.auto.convert.join = false;
set hive.ignore.mapjoin.hint=false;
---------- 禁止修改 ----------


---------- begin ----------
---创建mydb数据库
create database if not exists mydb;


---使用mydb数据库
use mydb;


---创建表my_stu
create table if not exists my_stu(
id string comment '学生id',
name string comment '姓名',
sex string comment '性别',
age string comment '年龄',
col string comment '所选的系')
row format delimited fields terminated by ','
stored as textfile;
---导入数据：/root/data/step2_files/my_student.txt
load data local inpath '/root/data/step2_files/my_student.txt' into table my_stu;


--创建表my_score
create table if not exists my_score(
id string comment '学生id',
courseid string comment '课程id',
score string comment '成绩')
row format delimited fields terminated by ','
stored as textfile;
---导入数据：/root/data/step2_files/my_score.txt
load data local inpath '/root/data/step2_files/my_score.txt' into table my_score;


--创建表my_course
create table if not exists my_course(
courseid string comment '课程id',
coursename string comment '课程名称')
row format delimited fields terminated by ','
stored as textfile;
---导入数据：/root/data/step2_files/my_course.txt
load data local inpath '/root/data/step2_files/my_course.txt' into table my_course; 



---计算shujuku课程的平均成绩
select t3.coursename, t2.avg_score
from
    (
        select t1.courseid courseid, avg(score.score) avg_score
        from
            (
                select courseid
                from my_course
                where my_course.coursename = 'shujuku'
            ) as t1,
            my_score score
        where t1.courseid = score.courseid
        group by t1.courseid
    ) as t2,
    my_course t3
where t2.courseid = t3.courseid;

---------- end ----------

二、Hive综合应用案例——用户学历查询

• 第 1 关：查询每一个用户从出生到现在的总天数

---------- 禁止修改 ----------
 drop database if exists mydb cascade;
---------- 禁止修改 ----------


---------- begin ----------
---创建mydb数据库
create database if not exists mydb;
---使用mydb数据库
use mydb;



---创建表user
create table usertab(
    id string,
    sex string,
    time string,
    education string,
    occupation string,
    income string,
    area string,
    desired_area string,
    city_countryside string
)
row format delimited fields terminated by ','; 



---导入数据：/root/data.txt
load data local inpath '/root/data.txt' into table usertab;



--查询每一个用户从出生到2019-06-10的总天数
select id, datediff('2019-06-10',regexp_replace(time, '/', '-')) from usertab;

• 第 2 关：同一个地区相同的教育程度的最高收入

---------- 禁止修改 ----------
 drop database if exists mydb cascade;
---------- 禁止修改 ----------


---------- begin ----------



--创建mydb数据库
create database if not exists mydb;



---使用mydb数据库
use mydb;



---创建表user
create table usertab1(
    id int,
    sex string,
    time string,
    education string,
    occupation string,
    income string,
    area string,
    desired_area string,
    city_countryside string
)
row format delimited fields terminated by ','; 



---导入数据：/root/data.txt
load data local inpath '/root/data1.txt' into table usertab1;



--同一个地区相同的教育程度的最高收入
select area,education,income
from(
    select area,education,income,
    row_number() over(
        partition by area, education order by income desc
    ) as t1
    from usertab1
) as t2
where t2.t1 = 1;



---------- end ----------

• 第 3 关：统计各级学历所占总人数百分比

---------- 禁止修改 ----------

 drop database if exists mydb cascade;
 set hive.mapred.mode=nonstrict;
---------- 禁止修改 ----------


---------- begin ----------



--创建mydb数据库
create database if not exists mydb;



---使用mydb数据库
use mydb;



---创建表user
create table usertab2(
    id int,
    sex string,
    time string,
    education string,
    occupation string,
    income string,
    area string,
    desired_area string,
    city_countryside string
)
row format delimited fields terminated by ',';



---导入数据：/root/data.txt
load data local inpath '/root/data.txt' into table usertab2;



--统计各级学历所占总人数百分比(对结果保留两位小数)
select concat(round(t1.cnted * 100 / t2.cnt, 2),'%'), t1.education
from
    (
        select count(*) as cnted,education
        from usertab2
        group by education
    ) as t1,

    (
        select count(*) as cnt from usertab2
    ) as t2
order by t1.education;



---------- end ----------

三、Hive综合应用案例 — 用户搜索日志分析

• 第1关：2018年点击量最高的10个网站域名

---------- 禁止修改 ----------
    drop database if exists mydb cascade;
---------- 禁止修改 ----------
---------- begin ----------
---创建mydb数据库
create database if not exists mydb;
---使用mydb数据库
use mydb;
---创建表db_search
create table if not exists db_search(
id string comment '用户id',
key string comment '搜索关键词',
ranking int comment 'url在返回结果中的排名',
or_der int comment '点击顺序',
url string comment '网站域名',
time string comment '日期'
)
row format delimited fields terminated by ' '
lines terminated by '\n'
stored as textfile;
---导入数据：/root/data.txt
load data local inpath '/root/data.txt' into table db_search;
--查询2018年点击量最多的10个网站域名
select url,count(*) cnt 
from db_search 
where year(time)='2018' 
group by url order by cnt desc limit 10;
---------- end ----------

• 第2关：同一种搜索词，哪个网站域名被用户访问最多

---------- 禁止修改 ----------
    drop database if exists mydb cascade;
---------- 禁止修改 ----------
---------- begin ----------
---创建mydb数据库
create database if not exists mydb;
---使用mydb数据库
use mydb;
---创建表db_search
create table if not exists db_search(
id string comment '用户id',
key string comment '搜索关键词',
ranking int comment 'url在返回结果中的排名',
or_der int comment '点击顺序',
url string comment '网站域名',
time string comment '日期')
row format delimited fields terminated by ' '
lines terminated by '\n'
stored as textfile;
---导入数据：/root/data.txt
load data local inpath '/root/data.txt' into table db_search;
--分析同一种搜索词，哪个网站域名被用户访问最多，并根据访问次数降序取前十。
select t.key,t.url,t.cnt 
from(
select key,url,count(*) cnt,row_number() over (partition by key order by count(*) desc) rk from db_search group by key,url) t
where t.rk<=1 order by t.cnt desc limit 10;
---------- end ----------

• 第3关：每月最火的搜索词

---------- 禁止修改 ----------
    drop database if exists mydb cascade;
---------- 禁止修改 ----------
---------- begin ----------
---创建mydb数据库
create database if not exists mydb;
---使用mydb数据库
use mydb;
---创建表db_search
create table if not exists db_search(
id string comment '用户id',
key string comment '搜索关键词',
ranking int comment 'url在返回结果中的排名',
or_der int comment '点击顺序',
url string comment '网站域名',
time string comment '日期')
row format delimited fields terminated by ' '
lines terminated by '\n'
stored as textfile;
---导入数据：/root/data.txt
load data local inpath '/root/data.txt' into table db_search;
--分析每年每月哪个搜索词被搜索次数最多。
select concat(t.y,'-',t.m),t.key,t.cnt
from(
select year(time) y,month(time) m,key,count(*) cnt,row_number() over (partition by year(time),month(time) order by count(*) desc) rk
from db_search group by year(time),month(time),key) t
where t.rk<=1;
---------- end ----------

 

 

参考：

[1]:Hive综合应用案例——学生成绩查询

[2]:Hive综合应用案例——用户学历查询