项目实战 从 0 到 1 学习之Flink （23）Flink 读取hive并写入hive
1，读取实现了，也是找的资料，核心就是实现了 HCatInputFormatHCatInputFormatBase 上面这两个类，底层也是 继承实现了 RichInputFormat： publ ...
原文：项目实战从0到1之hive（14）关于hive统计连续的案例
一:例题 统计用户连续交易的总额 连续登陆天数 连续登陆开始和结束时间 间隔天数 .建表: .插入数据: . .因为每个用户每天会有多天记录，所以按用户和日期分组求和，使每个用户每天只有一条数据。 结果 . .根据用户ID分组按日期排序，将日期和分组序号相减得到连续登陆的开始日期 from day ，如果开始日期相同说明连续登陆 结果： . .统计用户连续交易的总额 连续登陆天数 连续登陆开始和结 ...
2020-09-09 11:25 0 602 推荐指数：
相关推荐
项目实战从0到1之Spark（3）spark读取hive数据
1.首先将集群的这3个文件hive-site.xml，core-size.xml,hdfs-site.xml放到资源文件里(必须，否则报错) 2.代码方面。下面几个测试都可以运行。 1）test03.java ...
hive按月/周统计
substr(col,1,7) 分组 例如 select substr(t.UPDATE_TIME,1,7) as months,sum(t.tot_modal) as sumsfrom tes ...
Hive基本操作与案例
1. 创建数据库，切换数据库 2. 创建管理表 3. 创建外部表 创建外部表时直接指定表位置 上传数据文件到指定路径 在hive中创建数据表指定location 4. 创建分区表 注：分区字段不能与 ...
Hive SQL综合案例
一 Hive SQL练习之影评案例 案例说明 现有如此三份数据：1、users.dat 数据格式为： 2::M::56::16::70072， 共有6040条数据对应字段为：UserID BigInt, Gender String, Age Int, Occupation String ...
hive进行词频统计
统计文件信息： $ /opt/cdh-5.3.6/hadoop-2.5.0/bin/hdfs dfs -text /user/hadoop/wordcount/input/wc.input hadoop spark spark hadoop oracle mysql postgresql ...
Hive优化案例
1.Hadoop计算框架的特点 数据量大不是问题，数据倾斜是个问题。 jobs数比较多的作业效率相对比较低，比如即使有几百万的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是 ...
oozie与hive的简单案例
1.把oozie中自带的hive案例拷贝到 测试目录 /opt/cdh-5.3.6/oozie-4.0.0-cdh5.3.6/oozie-apps下 2. 编辑 job.properties 3.拷贝hive的配置文件hive-site.xm 4.拷贝mysql ...