ETL 概念 ETL 这个术语来源于数据仓库，ETL 指的是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程。ETL 的目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是 BI 项目重要的一个环节。 通常情况下，在 BI 项目中 ETL ...

关于：转载/知识产权 本文遵循 GPL开源协议，如若转载： 1 请发邮件至博主，以作申请声明。 2 请于引用文章的显著处注明来源（[大数据]ETL之增量数据抽取(CDC) - https://www.cnblogs.com/johnnyzen/p/12781942.html ...

今年做过两个公司需求都遇到了实时流入hive的需求，storm入hive有几种可行性方案。 1.storm直接写入hive，storm下面有个stormhive的工具包，可以进行数据写入hive。但是本人研究半天感觉并不是很好用,并且利用工具类也会在开发上灵活性被限制。 2.storm直接写入 ...

: --hive-drop-import-delims   在导入数据到hive时，去掉数据中的\r\n\0 ...

目录： 维度设计基础 维度的基本概念 维度的基本设计方法 维度的层次结构 规范化和反规范化 一致性维度和交叉探查 维度设计高级主题 维度整合 水平拆分 垂直拆分 历史归档 维度变化 ...

目录： 事实表基础 事实表特征 事实表设计原则 事实表设计方法 事务事实表 设计过程 单事务事实表 多事务事实表 两事实表对比 父子事实的处理方式 事实的设计原则 周期快照事实表 ...

ETL是BI项目最重要的一个环节，通常情况下ETL会花掉整个项目的1/3的时间，ETL设计的好坏直接关接到BI项目的成败。ETL也是一个长期的过程，只有不断的发现问题并解决问题，才能使ETL运行效率更高，为项目后期开发提供准确的数据。 　　ETL的设计分三部分：数据抽取、数据的清洗转换、数据 ...

前言 最近有很多人问我，大数据专业有什么好的毕设项目，我就简单的回复了一下。也有直接问我要源码的.... 所以就抽空写一写自己毕业设计的一个思路，大数据是我实习自学的，这个思路是我当初自己想的，就当做一份参考吧。 在我毕业那年，同学们毕业设计大多都是以Java语言开发的各种管理系统、xx ...