...

简介： hive是建立在hadoop之上的数据仓库，一般用于对大型数据集的读写和管理，存在hive里的数据实际上就是存在HDFS上，都是以文件的形式存在，不能进行读写操作，所以我们需要元数据或者说叫schem来对hdfs上的数据进行管理。那元数据表之间有没有什么关联呢？答案是肯定的。hive ...

　　如果Hadoop得core-site.xml中的fs.defaultFS配置由于多种原因（集群迁移、集群升级、NameNode主机名更改等）需要更改，会导致Hive无法通过元数据找到的数据存储地址，因此需要对元数据数据库中的地址更新。 报错场景： 解决方案： 　　1. 直接去数据库中 ...

　　如果不小心删除了了hive的元数据文件（/user/hive/warehouse），只要先前core-site.xml文件中设置了fs.trash.interval属性就可以找回。hdfs会为用户创建一个回收站的目录，通过shell删除的文件会在该回收站中停放一定的时间，最终才被删除。该回 ...

本文介绍Hive元数据库中一些重要的表结构及用途，方便Impala、SparkSQL、Hive等组件访问元数据库的理解。 1、存储Hive版本的元数据表(VERSION) 该表比较简单，但很重要。 VER_ID SCHEMA_VERSION ...

在使用Hive进行开发时，我们往往需要获得一个已存在hive表的建表语句(DDL),然而hive本身并没有提供这样一个工具。 要想还原建表DDL就必须从元数据入手，我们知道，hive的元数据并不存放在hdfs上，而是存放在传统的RDBMS中，典型的如MySQL，derby等，这里我们以mysql ...

公司hadoop集群迁移，需要迁移所有的表结构及比较重要的表的数据（跨云服务机房，源广州机房，目标北京机房） 1、迁移表结构 1）、老hive中导出表结构 hive -e "use db;show tables;" > tables.txt #!/bin/bash ...

表或者字段有中文的时候需要修改hive的元数据库的设置。以mysql为例子，当mysql的字符集设置成utf8的时候使用hive会有问题，详细见hive的wiki。 所以当hive使用mysql作为元数据库的时候mysql的字符集要设置成latin1。为了保存那些utf8的中文，要将mysql中 ...