開篇介紹 通常在數據量較少的情況下，我們從一個數據源將全部數據加載到目標數據庫的時候可以采取的策略可以是：先將目標數據庫的數據全部清空掉，然后全部重新從數據源加載進來。這是一個最簡單並且最直觀的並且不容易出錯的一種解決方案，但是在很多時候會帶來性能上的問題。 如果我們的數據源來自於不同的業務 ...

開篇介紹 通常在數據量較少的情況下，我們從一個數據源將全部數據加載到目標數據庫的時候可以采取的策略可以是：先將目標數據庫的數據全部清空掉，然后全部重新從數據源加載進來。這是一個最簡單並且最直觀的並且不容易出錯的一種解決方案，但是在很多時候會帶來性能上的問題。 如果我們的數據源來自於不同的業務 ...

進行數據分析工作的時候會用到很多的工具，比如說數據湖和數據倉庫，不過這兩者之間的差異和區別，可能會讓人困惑。那么大家知道不知道數據湖和數據倉庫的區別是什么呢？下面我們就給大家介紹一下數據湖和數據庫的相關知識。 2010年，James Dixon提出數據湖（Data Lake）的概念 ...

早期的數據庫系統的設計目標是事務處理。數據庫系統是為記錄更新和事務處理而設計，數據的訪問的特點是基於主鍵，大量原子，隔離的小事務，並發和可恢復是關鍵屬性，最大事務吞吐量是關鍵指標，因此數據庫的設計都反映了這些需求。 數據倉庫的設計目標是決策支持。歷史的，摘要的，聚合的數據比原始的記錄重要 ...

概述 在OLTP系統中，通常使用空值來表示數據的缺失。這里的空值可能是因為數據還未產生，也可能是因為其本身確實沒有數據。而在OLAP系統中，如果不對空值做處理，可能會導致事實測量不准確等問題的發生。下面將分別討論事實表外鍵空值，事實表屬性空值和維度表屬性空值這三種情況。 事實表外鍵空值 ...

數據備份之后實時性如何保證 在建立數據中台的時候，數據還是來源於各個異構的業務應用系統，實現了數據的統一，但是數據實際上是多存了一份，數據存在冗余，同時數據實時性如何來保證了？針對每個業務系統都開發數據提取接口？ 數據備份的通用處理方式 能用數據層的binlog方式就用，要不就業務層拉數據 ...

該如何解決數據漂移問題 　 數據漂移產生的原因 　　通常我們把從源系統同步進入數據倉庫的第一層數 ...

數據倉庫的介紹 一、數據倉庫的基本概念 數據倉庫，英文名稱為Data Warehouse，可簡寫為DW或DWH。數據倉庫顧名思義，是一個很大的數據存儲集合，出於企業的分析性報告和決策支持目的而創建，對多樣的業務數據進行篩選與整合。它為企業提供一定的BI（商業智能）能力，指導業務流程改進、監視 ...