【原创】大数据基础之Hive（1）Hive SQL执行过程之代码流程
hive 2.1 hive执行sql有两种方式： 执行hive命令，又细分为hive -e，hive -f，hive交互式； 执行beeline命令，beeline会连接远程thrift server； 下面分别看这些场景下sql是怎样被执行的： 1 hive命令 ...
原文：【原创】大数据基础之Hive（2）Hive SQL执行过程之SQL解析过程
Hive SQL解析过程 SQL gt AST Abstract Syntax Tree gt Task MapRedTask，FetchTask gt QueryPlan Task集合 gt Job Yarn SQL解析会在两个地方进行： 一个是SQL执行前compile，具体在Driver.compile，为了创建QueryPlan 一个是explain，具体在ExplainSemanticA ...
2018-12-27 18:41 0 1403 推荐指数：
相关推荐
【原创】大数据基础之Benchmark（4）TPC-DS测试结果（hive/hive on spark/spark sql/impala/presto）
1 测试集群 内存：256GCPU：32Core （Intel(R) Xeon(R) CPU E5-2640 v3 @ 2.60GHz）Disk（系统盘）：300GDisk（数据盘）：1.5T*1 2 测试数据 tpcds parquet 10g tpcds orc 10g ...
【原创】大数据基础之Hive（5）hive on spark
hive 2.3.4 on spark 2.4.0 Hive on Spark provides Hive with the ability to utilize Apache Spark as its execution engine. set ...
大数据学习——hive的sql练习
1新建一个数据库 2创建一个外部表 3添加数据 vi student.txt 4 查询 5 group by分组 6 cluster by 分区，排序 ...
【原创】大数据基础之ElasticSearch（4）es数据导入过程
1 准备analyzer 内置analyzer 参考：https://www.elastic.co/guide/en/elasticsearch/reference/current/analysi ...
大数据学习——hive的sql练习题
ABC三个hive表 每个表中都只有一列int类型且列名相同，求三个表中互不重复的数 sql： 运行结果： sql: ...
【原创】大数据基础之Kafka（2）reassign过程
reassign过程 选择每个partition的各个replica分布到哪个broker 每个partition的第一个replica随机选择一个broker 除第一个replica之外其他的replicas会加一个随机shift之后顺序选择n-1个broker ...
【转】Hive SQL的编译过程
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小的问题 ...