原文:浅谈ETL架构中ODS的作用以及如何在HaoheDI中自动创建ODS表

什么是ODS表 在ETL架构中,源数据很少会直接抽取加载到数据仓库EDW,二者之间往往会设置一个源数据的临时存储区域,存储数据在清洗转换前的原始形态,通常被大家称做操作型数据存储,简称ODS,在Kimball维度建模理论中,将其称之为Staging Area 意为部队从一个战场转往另一个战场的集结地 ,翻译过来称之为数据登台区,如图所示: 上图摘自Ralph Kimball的 数据仓库生命周期工具 ...

2019-04-10 15:18 0 889 推荐指数:

查看详情

空间不足的解决方法(表 XXX 无法通过128(在空间TS_ODS)扩展>)

一、出现原因:空间不够 1、查看有哪些空间及特定空间所包含的 基本的空间有SYSTEM、SYSAUX(辅助空间)、USERS、UNDOTBS1(回滚空间)、TEMP(临时空间,保存数据库排序,分组时产生的临时数据) 2、查看数据文件以及所属空间的相关信息 ...

Thu Jan 20 06:58:00 CST 2022 0 1365
数据仓库分层ODS、DWD、DWS

1.数据仓库DW 1.1简介 Data warehouse(可简写为DW或者DWH)数据仓库,是在数据库已经大量存在的情况下,为了进一步挖掘数据资源、为了决策需要而产生的,它是一整套包括了etl、调度、建模在内的完整的理论体系。数据仓库的方案建设的目的,是为前端查询和分析作为基础,主要应用于 ...

Mon Aug 17 01:49:00 CST 2020 0 37085
利用haohedi ETL将数据库的数据抽取到hadoop Hive

采用HIVE自带的apache 的JDBC驱动导入数据基本上只能采用Load data命令将文本文件导入,采用INSERT ... VALUES的方式插入速度极其慢,插入一条需要几十秒钟,基本上不可用 ...

Wed Oct 17 18:44:00 CST 2018 0 1389
ODS层简介和ODS层设计

1. 引言 本篇主要讲述操作数据存储(ODS)系统产生的背景、定义、特点,以及它与数据仓库的区别。 在前两篇,笔者介绍了什么是数据仓库?为什么需要数据仓库?数据仓库系统的体系结构是什么?因此可能在读者心里已经形成了企业数据存储的DB~DW两层体系结构的概念,但在实际应用,并不 ...

Sun Feb 24 02:10:00 CST 2019 1 19536
ODS ,EDW,DM

就是怎样的。所不同的是ODS数据库可以提供数据变化的历史,所以ODS数据库每张都会增加一个日期类型,表示数据的时 ...

Sat Mar 24 17:49:00 CST 2018 0 4478
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM