Hive UDF IP解析（一）：依赖包兼容性问题
到hive2.3.0版本中avatica-1.8.0.jar居然包含了com.fasterxml.jackson包。 ...
原文：hive ip解析
Hive 自定义udf ip地址解析出归属地 .问题背景：现在我们的流量表里存有用户的IP地址，有需求需要将ip地址的归属地解析出来。结构是 国家 省份 城市 运营商 .目前使用的是开源的ip库，调用三方接口不太适合hive udf使用并且都是收费的。 .开源数据库调研了纯真数据库 发现ip地址解析的结果误差比较大，并且返回的结构不太友好。后来使用的是一个开源项目ip region 。具体介绍可 ...
2021-07-24 14:38 0 122 推荐指数：
相关推荐
Hive UDF IP解析（二）：使用geoip2数据库自定义UDF
开发中经常会碰到将IP转为地域的问题，所以以下记录Hive中自定义UDF来解析IP。 使用到的地域库位maxmind公司的geoIP2数据库，分为免费版GeoLite2-City.mmdb和收费版GeoIP2-City.mmdb，不管哪个版本，开发的接口都是相同。 开发环境 ...
antlr解析hive语句
hive是使用antlr来解析的 parser要做的事情，是从无结构的字符串里面，解码产生有结构的数据结构（a parser is a function accepting strings as input and returning some structure as output），参考 ...
hive sql 解析json
在hive中会有很多数据是用json格式来存储的，而我们用数据的时候又必须要将json格式的数据解析成为正常的数据，今天我们就来聊聊hive中是如何解析json数据的。 下面这张表就是json格式的表，我们以这张表为例来解析json select * from ...
hive 元数据解析
在使用Hive进行开发时，我们往往需要获得一个已存在hive表的建表语句(DDL),然而hive本身并没有提供这样一个工具。 要想还原建表DDL就必须从元数据入手，我们知道，hive的元数据并不存放在hdfs上，而是存放在传统的RDBMS中，典型的如MySQL，derby等，这里我们以mysql ...
[Hive]HiveSQL解析原理
Hive是基于Hadoop的一个数据仓库系统，在各大公司都有广泛的应用。美团数据仓库也是基于Hive搭建，每天执行近万次的Hive ETL计算流程，负责每天数百GB的数据存储和分析。Hive的稳定性和性能对我们的数据分析非常关键。 在几次升级Hive的过程中，我们遇到了一些大大小小 ...
Hive源码解析
date: 2020-07-08 15:12:00 updated: 2020-08-21 17:38:00 Hive源码解析 入口：hive-cli-1.1.0-cdh5.14.4.jar!/org/apache/hadoop/hive/cli/CliDriver.class 参考文档 ...
hive小tips（各种解析）
1.hive查询中sum数据精度丢失问题 公司大数据组把线上数据库表的类型简单粗暴的设置为string类型了，而我们在hive上做算数运算时出现精度丢失现象。 处理方案：使用cast（table.column_name as decimal(38,2)） 将string类型转换成decimal ...