頭歌（Educoder）實踐教學平台——Hive綜合應用案例

說明

　　【適用平台】頭歌（Educoder）實踐教學平台

 

　　【適用實訓】

　　　　一、Hive綜合應用案例——學生成績查詢

　　　　二、Hive綜合應用案例——用戶學歷查詢

　　　　三、Hive綜合應用案例——用戶搜索日志分析

　　【注意】

　　　　看清楚上面說的實訓是不是和你需要做的實訓是同一個實訓！！！

　　　　如果是同一個實訓，直接復制粘貼代碼，然后點擊測評即可。

　　【發文時間】2021-05-26 16:03

　　【更新時間】2022-04-12

　　【更新內容】

　　　　【新增】Hive綜合應用案例——學生成績查詢——第1關：計算每個班的語文總成績和數學總成績

　　　　【新增】Hive綜合應用案例——學生成績查詢——第2關：查詢選修了3門以上的課程的學生姓名

　　　　【新增】Hive綜合應用案例——用戶搜索日志分析——第1關：2018年點擊量最高的10個網站域名

　　　　【新增】Hive綜合應用案例——用戶搜索日志分析——第2關：同一種搜索詞，哪個網站域名被用戶訪問最多

　　　　【新增】Hive綜合應用案例——用戶搜索日志分析——第3關：每月最火的搜索詞

　　【更新說明】

　　　　以上【新增】內容未測試是否能通過！！！

　　　　以上【新增】內容未測試是否能通過！！！

　　　　以上【新增】內容未測試是否能通過！！！

正文

一、Hive綜合應用案例 — 學生成績查詢

• 第 1 關：計算每個班的語文總成績和數學總成績

---------- 禁止修改 ----------
    drop database if exists mydb cascade;
    set hive.auto.convert.join = false;
set hive.ignore.mapjoin.hint=false;
---------- 禁止修改 ----------

---------- begin ----------
---創建mydb數據庫
create database if not exists mydb;
---使用mydb數據庫
use mydb;

---創建表score
create table if not exists score(
name string comment '姓名',
chinese string comment '語文成績',
maths string comment '數學成績'
)
row format delimited fields terminated by ','
stored as textfile;
---導入數據：/root/data/step1_files/score.txt
load data local inpath '/root/data/step1_files/score.txt' into table score;

--創建表class
create table if not exists class(
stuname string comment '姓名',
classname string comment '所在班級'
)
row format delimited fields terminated by ','
stored as textfile;
---導入數據：/root/data/step1_files/class.txt
load data local inpath '/root/data/step1_files/class.txt' into table class;

--計算每個班的語文總成績和數學總成績，要求有哪科低於60分，該名學生成績不計入計算。
select t1.classname,t1.chinese,t2.maths
from(
select c.classname classname,sum(s.chinese) chinese
from class c,score s
where c.stuname=s.name and s.chinese>=60
group by c.classname) as t1,(
select c.classname classname,sum(s.maths) maths
from class c,score s
where c.stuname=s.name and s.maths>=60
group by c.classname) as t2
where t1.classname=t2.classname;
---------- end ---------- 

• 第 2 關：查詢選修了3門以上的課程的學生姓名

---------- 禁止修改 ----------
 drop database if exists mydb cascade;
  set hive.auto.convert.join = false;
set hive.ignore.mapjoin.hint=false;
---------- 禁止修改 ----------

---------- begin ----------
---創建mydb數據庫
create database if not exists mydb;

---使用mydb數據庫
use mydb;

---創建表my_stu
create table if not exists my_stu(
id string comment '學生id',
name string comment '姓名',
sex string comment '性別',
age string comment '年齡',
col string comment '所選的系'
)
row format delimited fields terminated by ','
stored as textfile;
---導入數據：/root/data/step2_files/my_student.txt
load data local inpath '/root/data/step2_files/my_student.txt' into table my_stu;

--創建表my_score
create table if not exists my_score(
    id string comment '學生id',
    courseid string comment '課程id',
    score string comment '成績'
)
row format delimited fields terminated by ','
stored as textfile;
---導入數據：/root/data/step2_files/my_score.txt
load data local inpath '/root/data/step2_files/my_score.txt' into table my_score;

--創建表my_course
create table if not exists my_course(
courseid string comment '課程id',
coursename string comment '課程名稱'
)
row format delimited fields terminated by ','
stored as textfile;
---導入數據：/root/data/step2_files/my_course.txt
load data local inpath '/root/data/step2_files/my_course.txt' into table my_course; 

---查詢選修了3門以上的課程的學生姓名。
select my_stu.name, new_table.c_s 
from my_stu
join
    (select id,count(courseid) as c_s from my_score group by my_score.id having count(courseid) >= 3) as new_table
on my_stu.id = new_table.id;

---------- end ----------

• 第 3 關：課程選修人數

---------- 禁止修改 ----------
 drop database if exists mydb cascade;
  set hive.auto.convert.join = false;
set hive.ignore.mapjoin.hint=false;
---------- 禁止修改 ----------


---------- begin ----------
---創建mydb數據庫
create database if not exists mydb;



---使用mydb數據庫
use mydb;



---創建表my_stu
create table if not exists my_stu(
id string comment '學生id',
name string comment '姓名',
sex string comment '性別',
age string comment '年齡',
col string comment '所選的系')
row format delimited fields terminated by ','
stored as textfile;
---導入數據：/root/data/step2_files/my_student.txt
load data local inpath '/root/data/step2_files/my_student.txt' into table my_stu;



--創建表my_score
create table if not exists my_score(
id string comment '學生id',
courseid string comment '課程id',
score string comment '成績')
row format delimited fields terminated by ','
stored as textfile;
---導入數據：/root/data/step2_files/my_score.txt
load data local inpath '/root/data/step2_files/my_score.txt' into table my_score;



--創建表my_course
create table if not exists my_course(
courseid string comment '課程id',
coursename string comment '課程名稱')
row format delimited fields terminated by ','
stored as textfile;
---導入數據：/root/data/step2_files/my_course.txt
load data local inpath '/root/data/step2_files/my_course.txt' into table my_course;



---查詢每個課程有多少人選修。
select t2.coursename, count(*)
from
    (
        select t1.name name, course.coursename coursename
        from
            (
                select stu.name name, score.courseid courseid
                from my_score score, my_stu stu
                where score.id = stu.id
            ) as t1,
            my_course course
        where t1.courseid = course.courseid
    )
    as t2
group by t2.coursename;
---------- end ----------

• 第 4 關：shujuku課程的平均成績

---------- 禁止修改 ----------
 drop database if exists mydb cascade;
  set hive.auto.convert.join = false;
set hive.ignore.mapjoin.hint=false;
---------- 禁止修改 ----------


---------- begin ----------
---創建mydb數據庫
create database if not exists mydb;


---使用mydb數據庫
use mydb;


---創建表my_stu
create table if not exists my_stu(
id string comment '學生id',
name string comment '姓名',
sex string comment '性別',
age string comment '年齡',
col string comment '所選的系')
row format delimited fields terminated by ','
stored as textfile;
---導入數據：/root/data/step2_files/my_student.txt
load data local inpath '/root/data/step2_files/my_student.txt' into table my_stu;


--創建表my_score
create table if not exists my_score(
id string comment '學生id',
courseid string comment '課程id',
score string comment '成績')
row format delimited fields terminated by ','
stored as textfile;
---導入數據：/root/data/step2_files/my_score.txt
load data local inpath '/root/data/step2_files/my_score.txt' into table my_score;


--創建表my_course
create table if not exists my_course(
courseid string comment '課程id',
coursename string comment '課程名稱')
row format delimited fields terminated by ','
stored as textfile;
---導入數據：/root/data/step2_files/my_course.txt
load data local inpath '/root/data/step2_files/my_course.txt' into table my_course; 



---計算shujuku課程的平均成績
select t3.coursename, t2.avg_score
from
    (
        select t1.courseid courseid, avg(score.score) avg_score
        from
            (
                select courseid
                from my_course
                where my_course.coursename = 'shujuku'
            ) as t1,
            my_score score
        where t1.courseid = score.courseid
        group by t1.courseid
    ) as t2,
    my_course t3
where t2.courseid = t3.courseid;

---------- end ----------

二、Hive綜合應用案例——用戶學歷查詢

• 第 1 關：查詢每一個用戶從出生到現在的總天數

---------- 禁止修改 ----------
 drop database if exists mydb cascade;
---------- 禁止修改 ----------


---------- begin ----------
---創建mydb數據庫
create database if not exists mydb;
---使用mydb數據庫
use mydb;



---創建表user
create table usertab(
    id string,
    sex string,
    time string,
    education string,
    occupation string,
    income string,
    area string,
    desired_area string,
    city_countryside string
)
row format delimited fields terminated by ','; 



---導入數據：/root/data.txt
load data local inpath '/root/data.txt' into table usertab;



--查詢每一個用戶從出生到2019-06-10的總天數
select id, datediff('2019-06-10',regexp_replace(time, '/', '-')) from usertab;

• 第 2 關：同一個地區相同的教育程度的最高收入

---------- 禁止修改 ----------
 drop database if exists mydb cascade;
---------- 禁止修改 ----------


---------- begin ----------



--創建mydb數據庫
create database if not exists mydb;



---使用mydb數據庫
use mydb;



---創建表user
create table usertab1(
    id int,
    sex string,
    time string,
    education string,
    occupation string,
    income string,
    area string,
    desired_area string,
    city_countryside string
)
row format delimited fields terminated by ','; 



---導入數據：/root/data.txt
load data local inpath '/root/data1.txt' into table usertab1;



--同一個地區相同的教育程度的最高收入
select area,education,income
from(
    select area,education,income,
    row_number() over(
        partition by area, education order by income desc
    ) as t1
    from usertab1
) as t2
where t2.t1 = 1;



---------- end ----------

• 第 3 關：統計各級學歷所占總人數百分比

---------- 禁止修改 ----------

 drop database if exists mydb cascade;
 set hive.mapred.mode=nonstrict;
---------- 禁止修改 ----------


---------- begin ----------



--創建mydb數據庫
create database if not exists mydb;



---使用mydb數據庫
use mydb;



---創建表user
create table usertab2(
    id int,
    sex string,
    time string,
    education string,
    occupation string,
    income string,
    area string,
    desired_area string,
    city_countryside string
)
row format delimited fields terminated by ',';



---導入數據：/root/data.txt
load data local inpath '/root/data.txt' into table usertab2;



--統計各級學歷所占總人數百分比(對結果保留兩位小數)
select concat(round(t1.cnted * 100 / t2.cnt, 2),'%'), t1.education
from
    (
        select count(*) as cnted,education
        from usertab2
        group by education
    ) as t1,

    (
        select count(*) as cnt from usertab2
    ) as t2
order by t1.education;



---------- end ----------

三、Hive綜合應用案例 — 用戶搜索日志分析

• 第1關：2018年點擊量最高的10個網站域名

---------- 禁止修改 ----------
    drop database if exists mydb cascade;
---------- 禁止修改 ----------
---------- begin ----------
---創建mydb數據庫
create database if not exists mydb;
---使用mydb數據庫
use mydb;
---創建表db_search
create table if not exists db_search(
id string comment '用戶id',
key string comment '搜索關鍵詞',
ranking int comment 'url在返回結果中的排名',
or_der int comment '點擊順序',
url string comment '網站域名',
time string comment '日期'
)
row format delimited fields terminated by ' '
lines terminated by '\n'
stored as textfile;
---導入數據：/root/data.txt
load data local inpath '/root/data.txt' into table db_search;
--查詢2018年點擊量最多的10個網站域名
select url,count(*) cnt 
from db_search 
where year(time)='2018' 
group by url order by cnt desc limit 10;
---------- end ----------

• 第2關：同一種搜索詞，哪個網站域名被用戶訪問最多

---------- 禁止修改 ----------
    drop database if exists mydb cascade;
---------- 禁止修改 ----------
---------- begin ----------
---創建mydb數據庫
create database if not exists mydb;
---使用mydb數據庫
use mydb;
---創建表db_search
create table if not exists db_search(
id string comment '用戶id',
key string comment '搜索關鍵詞',
ranking int comment 'url在返回結果中的排名',
or_der int comment '點擊順序',
url string comment '網站域名',
time string comment '日期')
row format delimited fields terminated by ' '
lines terminated by '\n'
stored as textfile;
---導入數據：/root/data.txt
load data local inpath '/root/data.txt' into table db_search;
--分析同一種搜索詞，哪個網站域名被用戶訪問最多，並根據訪問次數降序取前十。
select t.key,t.url,t.cnt 
from(
select key,url,count(*) cnt,row_number() over (partition by key order by count(*) desc) rk from db_search group by key,url) t
where t.rk<=1 order by t.cnt desc limit 10;
---------- end ----------

• 第3關：每月最火的搜索詞

---------- 禁止修改 ----------
    drop database if exists mydb cascade;
---------- 禁止修改 ----------
---------- begin ----------
---創建mydb數據庫
create database if not exists mydb;
---使用mydb數據庫
use mydb;
---創建表db_search
create table if not exists db_search(
id string comment '用戶id',
key string comment '搜索關鍵詞',
ranking int comment 'url在返回結果中的排名',
or_der int comment '點擊順序',
url string comment '網站域名',
time string comment '日期')
row format delimited fields terminated by ' '
lines terminated by '\n'
stored as textfile;
---導入數據：/root/data.txt
load data local inpath '/root/data.txt' into table db_search;
--分析每年每月哪個搜索詞被搜索次數最多。
select concat(t.y,'-',t.m),t.key,t.cnt
from(
select year(time) y,month(time) m,key,count(*) cnt,row_number() over (partition by year(time),month(time) order by count(*) desc) rk
from db_search group by year(time),month(time),key) t
where t.rk<=1;
---------- end ----------

 

 

參考：

[1]:Hive綜合應用案例——學生成績查詢

[2]:Hive綜合應用案例——用戶學歷查詢