hive自带的sql查询最终是转化成mapreduce任务进行。 如何转换的呢？ 分为如下几步： 1、antlr词法解析器解析SQL成Abstract Syntax Tree即AST树 2、基于AST树解析成若干query block即QB，QB和QBParseInfo其实是hive源码 ...

　　最近随着项目的深入，发现hive meta有些弊端，就是你会发现它的元数据操作与操作物理集群的代码耦合在一起，非常不利于扩展。比如：在create_table的时候同时进行路径校验及创建，如下代码： 　　　所以这是meta无法统一所有元数据的原因么。。其实hive ...

　　不要问我为什么，因为爱，哈哈哈哈。。。进入正题，最近做项目顺带学习了下hive metastore的源码，进行下知识总结。 　　hive metastore的整体架构如图： 　　 　　一、组成结构： 　　如图我们可以看到，hive metastore的组成结构分为 客户端 服务端 ...

hive是使用antlr来解析的 parser要做的事情，是从无结构的字符串里面，解码产生有结构的数据结构（a parser is a function accepting strings as input and returning some structure as output），参考 ...

在hive中会有很多数据是用json格式来存储的，而我们用数据的时候又必须要将json格式的数据解析成为正常的数据，今天我们就来聊聊hive中是如何解析json数据的。 下面这张表就是json格式的表，我们以这张表为例来解析json select * from ...

Hive 自定义udf --ip地址解析出归属地 1.问题背景：现在我们的流量表里存有用户的IP地址，有需求需要将ip地址的归属地解析出来。结构是 国家-省份-城市-运营商 2.目前使用的是开源的ip库，调用三方接口不太适合hive udf ...

在使用Hive进行开发时，我们往往需要获得一个已存在hive表的建表语句(DDL),然而hive本身并没有提供这样一个工具。 要想还原建表DDL就必须从元数据入手，我们知道，hive的元数据并不存放在hdfs上，而是存放在传统的RDBMS中，典型的如MySQL，derby等，这里我们以mysql ...

Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小 ...