开发中经常会碰到将IP转为地域的问题,所以以下记录Hive中自定义UDF来解析IP。 使用到的地域库位maxmind公司的geoIP2数据库,分为免费版GeoLite2-City.mmdb和收费版GeoIP2-City.mmdb,不管哪个版本,开发的接口都是相同。 开发环境 ...
由于MySQL便于管理,在学习过程中,我选择MySQL。 一,配置元数据库。 安装MySQL,采用yum方式。 yum install mysql server,安装mysql服务端,安装服务端的同时,也会把mysql的客户端安装好。 数据库字符集设置。 mysql配置文件 etc my.cnf中加入default character set utf 指令如下: 加入default charact ...
2016-03-21 15:31 0 1733 推荐指数:
开发中经常会碰到将IP转为地域的问题,所以以下记录Hive中自定义UDF来解析IP。 使用到的地域库位maxmind公司的geoIP2数据库,分为免费版GeoLite2-City.mmdb和收费版GeoIP2-City.mmdb,不管哪个版本,开发的接口都是相同。 开发环境 ...
删除函数:DROP FUNCTION IF EXISTS function_name; 查看所有自定义函数, 自定义函数只能在本数据库使用: show function status [like 'pattern']; 查看函数创建语句:show ...
1介绍 Hive自定义函数包括三种UDF、UDAF、UDTF UDF(User-Defined-Function) 一进一出 UDAF(User- Defined Aggregation Funcation) 聚集函数,多进一出。Count/max/min UDTF ...
前言: hive本身提供了丰富的函数集, 有普通函数(求平方sqrt), 聚合函数(求和sum), 以及表生成函数(explode, json_tuple)等等. 但不是所有的业务需求都能涉及和覆盖到, 因此hive提供了自定义函数的接口, 方便用户扩展. 自己好像很久没 ...
mysql的设置 在要作为元数据库的mysql服务器上建立hive数据库: #建立数据库 create database if not exists hive; #设置远程登录的权限 GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED ...
概述 Hive 的元数据信息通常存储在关系型数据库中,常用MySQL数据库作为元数据库管理。上一篇hive的安装也是将元数据信息存放在MySQL数据库中。 Hive的元数据信息在MySQL数据中有57张表 一、存储Hive版本的元数据表(VERSION) VERSION ...
1:要想学习Hive必须将Hadoop启动起来,因为Hive本身没有自己的数据管理功能,全是依赖外部系统,包括分析也是依赖MapReduce; 2:七个节点跑HA集群模式的: 第一步:必须先将Zookeeper启动起来(HA里面好多组件都依赖Zookeeper): 切换目录,启动 ...
Hive的安装与部署(MySQL作为元数据) (开始之前确保Hadoop环境已经启动,确保Linux下的MySQL已经安装好) 1. 安装Hive (1)下载安装包 可从apache上下载hive安装包:http://mirror.bit.edu.cn/apache ...