开篇介绍 通常在数据量较少的情况下，我们从一个数据源将全部数据加载到目标数据库的时候可以采取的策略可以是：先将目标数据库的数据全部清空掉，然后全部重新从数据源加载进来。这是一个最简单并且最直观的并且不容易出错的一种解决方案，但是在很多时候会带来性能上的问题。 如果我们的数据源来自于不同的业务 ...

开篇介绍 通常在数据量较少的情况下，我们从一个数据源将全部数据加载到目标数据库的时候可以采取的策略可以是：先将目标数据库的数据全部清空掉，然后全部重新从数据源加载进来。这是一个最简单并且最直观的并且不容易出错的一种解决方案，但是在很多时候会带来性能上的问题。 如果我们的数据源来自于不同的业务 ...

进行数据分析工作的时候会用到很多的工具，比如说数据湖和数据仓库，不过这两者之间的差异和区别，可能会让人困惑。那么大家知道不知道数据湖和数据仓库的区别是什么呢？下面我们就给大家介绍一下数据湖和数据库的相关知识。 2010年，James Dixon提出数据湖（Data Lake）的概念 ...

早期的数据库系统的设计目标是事务处理。数据库系统是为记录更新和事务处理而设计，数据的访问的特点是基于主键，大量原子，隔离的小事务，并发和可恢复是关键属性，最大事务吞吐量是关键指标，因此数据库的设计都反映了这些需求。 数据仓库的设计目标是决策支持。历史的，摘要的，聚合的数据比原始的记录重要 ...

概述 在OLTP系统中，通常使用空值来表示数据的缺失。这里的空值可能是因为数据还未产生，也可能是因为其本身确实没有数据。而在OLAP系统中，如果不对空值做处理，可能会导致事实测量不准确等问题的发生。下面将分别讨论事实表外键空值，事实表属性空值和维度表属性空值这三种情况。 事实表外键空值 ...

数据备份之后实时性如何保证 在建立数据中台的时候，数据还是来源于各个异构的业务应用系统，实现了数据的统一，但是数据实际上是多存了一份，数据存在冗余，同时数据实时性如何来保证了？针对每个业务系统都开发数据提取接口？ 数据备份的通用处理方式 能用数据层的binlog方式就用，要不就业务层拉数据 ...

该如何解决数据漂移问题 　 数据漂移产生的原因 　　通常我们把从源系统同步进入数据仓库的第一层数 ...

数据仓库的介绍 一、数据仓库的基本概念 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库顾名思义，是一个很大的数据存储集合，出于企业的分析性报告和决策支持目的而创建，对多样的业务数据进行筛选与整合。它为企业提供一定的BI（商业智能）能力，指导业务流程改进、监视 ...