hive--数据仓库
1.1.1 hive是什么？ Hive是基于 Hadoop 的一个数据仓库工具： hive本身不提供数据存储功能，使用HDFS做数据存储； hive也不分布式计算框架，hive的核心工作就是把sql语句翻译成MR程序； hive也不提 ...
原文：hive--新增字段，数据重跑坑
场景： 当我们建表完成并按照时间分区插入数据，之后我们发现需要增加一个字段。 办法： 我们首先想到的是先在表中增加字段。 alter tabletable name add columns new attr string 然后重跑数据 insert overwrite tabletable name partition pattr 这种后果是，我们新增的字段new attr的值为空。 解决办法： ...
2018-10-30 20:02 0 2435 推荐指数：
相关推荐
hive的insert语句列顺序问题以及新增字段遇到的坑
讲问题之前，先简单创建一个表： 初始表有col1，col2两列，pt分区只是为了对比结果 insert语句列顺序 hive不像mysql、oracle这些数据库一样在insert的时候可以指定字段，必须在插入的时候插入的是全字段。所以我一直以为可以通过指定插入数据的别名来改变 ...
hive新增字段和修改字段的影响
alter table `ods_wst`.`awd_pckt_in_sm` add columns( `rule_code` string COMMENT '规则编码', `bus_type` string COMMENT '扩展字段业务类型,用于关联扩展字段业务值1-4 ...
hive表更改存储格式（从text改到orc）重跑数据以后查询报错：Invalid postscript
创建 然后重新跑数据，这个时候查表，发现报错Invalid postscript， 去网上搜了一些案例说是 ...
python定时重跑获取数据
做大数据的童鞋经常会写定时任务跑数据，由于任务之间的依赖（一般都是下游依赖上游的数据产出），所以经常会导致数据获取失败，因为很多人发现数据失败后 都会去查看日志，然后手动去执行自己的任务。下面我实现了一个自动重复执行去数据库取数，如果失败后自动重新去获取，直到把数据获取到。 建数据 ...
Hive--关联表（join）
在hive中，关联有4种方式： 内关联：join on 左外关联：left join on 右外关联：right join on 全外关联：full join on 另外还有一种可实现hive笛卡儿积的效果（hive不支持笛卡儿积）： 在on后面接为true的表达式 ...
Hive--关联查询
一 表结构1.1 医生主表 1.2 医生服务次数表 二 left join查询1.1 on后面加and条件1.1.1 sql语句 1.1.2 查询结果 1.1.3 执行计划 1. ...
Hive查询某一重复字段记录第一条数据
场景：数据库中id、toapp、topin、toclienttype几个字段都相同，receivetime字段不一样，现需要将receive最小的一行查出，其他行舍去。 select *from ( select *, row_number() over(partition by id ...