Hive基本操作之用戶訪問次數統計

前言

根據對用戶ID、訪問日期、訪問次數的若干條數據，分析得出每個用戶的累計訪問次數，涉及字符串替換、時間函數、開窗、求和等技術。

1. 假如有用戶訪問數據（用戶ID，訪問日期，訪問次數）

userId	visitDate	visitCount
u01	2017/1/21	5
u02	2017/1/23	6
u03	2017/1/22	8
u04	2017/1/20	3
u01	2017/1/23	6
u01	2017/2/21	8
u02	2017/1/23	6
u01	2017/2/22	4

2. 希望得到每個月用戶的訪問累計次數

用戶id	月份	小計	累積
u01	2017-01	11	11
u01	2017-02	12	23
u02	2017-01	12	12
u03	2017-01	8	8
u04	2017-01	3	3

3. 啟動hive，選庫，建表

create table action
	(userId string,
	visitDate string,
	visitCount int) 
row format delimited fields terminated by "\t";

4. 將數據導入表

load data local inpath '/data/action.dat' into table action;

5. 轉換日期字符串為標准格式

select
     userId,
     date_format(regexp_replace(visitDate,'/','-'),'yyyy-MM') mn,
     visitCount
from
     action;

userid	mn	visitcount
u01	2017-01	5
u02	2017-01	6
u03	2017-01	8
u04	2017-01	3
u01	2017-01	6
u01	2017-02	8
u02	2017-01	6
u01	2017-02	4

6. 計算每人單月訪問量

select
    userId,
    mn,
    sum(visitCount) mn_count
from
    (select
         userId,
         date_format(regexp_replace(visitDate,'/','-'),'yyyy-MM') mn,
         visitCount
    from
         action) as t1
group by 
    userId,mn;

userid	mn	mn_count
u01	2017-01	11
u01	2017-02	12
u02	2017-01	12
u03	2017-01	8
u04	2017-01	3

7. 按月累計訪問量

select
    userId,
    mn,
    mn_count,
    sum(mn_count) over(partition by userId order by mn)
from (select
        userId,
        mn,
        sum(visitCount) mn_count
    from
        (select
             userId,
             date_format(regexp_replace(visitDate,'/','-'),'yyyy-MM') mn,
             visitCount
        from
             action) as t1
    group by 
        userId,mn) as t2;

userid	mn	mn_count	sum_window_0
u01	2017-01	11	11
u01	2017-02	12	23
u02	2017-01	12	12
u03	2017-01	8	8
u04	2017-01	3	3

The End