一、求单月访问次数和总访问次数 1、数据说明 数据字段说明 数据格式 2、数据准备 （1）创建表 （2）导 ...

1. 什么是hive? hive是基于Hadoop的一个数据仓库工具，可以将结构化和半结构化的数据文件映射为一张数据库表， 并提供简单的sql查询功能。 注意： (1)Hive本质是将HDFS转换成MapReduce的任务进行运算，底层由HDFS来提供数据存储。 (2)Hive的元数据存储 ...

对待像我这种2年开发经验的同学 一般都会被问到。 在面试中，我们只要简短的介绍就好了。 首先低调一波，我可能懂的比你少，我就简单说说 1.在排序中，我们使用的是sortBy,它是基于索引，效率高于order by 2.我们在分区的时候采用静态分区，静态分区只是读取配置文件，而动态分区需要 ...

1、Hive表关联查询，如何解决数据倾斜的问题？（☆☆☆☆☆）   1）倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。   （1）key分布不均匀;   （2）业务数据 ...

一、Hadoop 框架计算特性 1、数据量大不是问题，数据倾斜是个问题 2、jobs 数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次 汇总，产生十几个 jobs，耗时很长 ...

面试题： hive 内部表和外部表的区别？ hive 是如何实现分区的？ Hive 有哪些方式保存元数据，各有哪些优缺点？ hive中order by、distribute by、sort by和cluster by的区别和联系 hive 中的压缩格式 RCFile ...

点击上方“蓝字”关注我们 ...

第 1 题 连续问题 　　如下数据为蚂蚁森林中用户领取的减少碳排放量 　　找出连续 3 天及以上减少碳排放量在 100 以上的用户 第 2 题 分组问题 　　如下为电商公司用户访 ...