（七）Hive的5个面试题
一、求单月访问次数和总访问次数 1、数据说明 数据字段说明 数据格式 2、数据准备 （1）创建表 （2）导 ...
原文：Hive面试题(6)Hive调优全方位指南(一)
来源:https: mp.weixin.qq.com s NdvHxOtVB AS P QdVO Q 正文目录 表层面 . 利用分区表优化 . 利用分桶表优化 . 选择合适的文件存储格式 . 选择合适的压缩格式 HQL层面优化 . 执行计划 . 列 行 分区裁剪 . 谓词下推 . 合并小文件 . 合理设置MapTask并行度 . 合理设置ReduceTask并行度 . Join优化 . CBO优化 ...
2021-01-01 19:56 0 368 推荐指数：
相关推荐
hive面试题
1. 什么是hive? hive是基于Hadoop的一个数据仓库工具，可以将结构化和半结构化的数据文件映射为一张数据库表， 并提供简单的sql查询功能。 注意： (1)Hive本质是将HDFS转换成MapReduce的任务进行运算，底层由HDFS来提供数据存储。 (2)Hive的元数据存储 ...
Hive面试题整理（一）
1、Hive表关联查询，如何解决数据倾斜的问题？（☆☆☆☆☆） 1）倾斜原因：map输出数据按key Hash的分配到reduce中，由于key分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的reduce 上的数据量差异过大。 （1）key分布不均匀; （2）业务数据 ...
Hive优化面试题
对待像我这种2年开发经验的同学 一般都会被问到。 在面试中，我们只要简短的介绍就好了。 首先低调一波，我可能懂的比你少，我就简单说说 1.在排序中，我们使用的是sortBy,它是基于索引，效率高于order by 2.我们在分区的时候采用静态分区，静态分区只是读取配置文件，而动态分区需要 ...
面试题-JVM性能调优
前言 JVM性能调优是一个很大的话题，很多中小企业的业务规模受限，没有迫切的性能调优需求，但是如果不知道JVM相关的理论知识，写出来的代码或者配置的JVM参数不合理时，就会出现很严重的性能问题，到时候开发就会像热锅上的蚂蚁，等待各方的炙烤。笔者一直在学习JVM相关的理论书籍，看过周志明老师 ...
hive的调优经验
规范： 1.开发规范 SQL子查询嵌套不宜超过3层。 少用或者不用Hint，hive2.0以后增强HiveSQL对于成本调优（CBO）的支持 避免SQL 代码的复制、粘贴。如果有多处逻辑一致的代码，可以将执行结果存储到临时表中。 尽可能使用SQL 自带的高级命令做操作。在多维 ...
(转) hive调优（2）
hive 调优（二）参数调优汇总 在hive调优（一） 中说了一些常见的调优，但是觉得参数涉及不多，补充如下 1.设置合理solt数 ...
hive tez调优（3）
根据。方案最右侧一栏是一个8G VM的分配方案，方案预留1-2G的内存给操作系统，分配4G给Yarn/MapReduce，当然也包括了HIVE，剩余的2-3G是在需要使用HBase时预留给HBase的。 内存调优 ...