一、數倉分層1.1 為什么要分層1.2 數據集市與數據倉庫概念1.3 數倉命名規范1.3.1 表命名 ODS層命名為ods_表名 DWD層命名為dwd_dim/fact_表名 DWS層命名為dws_表名 DWT層命名為dwt_購物車 ADS層命名為ads_表名 臨時表 ...

基本概念 業務板塊：業務板塊定義了數據倉庫的多種命名空間，是一種系統級的概念對象。當數據的業務含義存在較大差異時，您可以創建不同的業務板塊，讓各成員獨立管理不同的業務，后續數據倉庫的建設將按照業務板塊進行划分。在Dataphin中，項目可以歸屬至業務板塊以實現規范建模 ...

Hive數倉構建及數據傾斜 #數據傾斜 1 “英文名稱為Data Warehouse，可簡寫為DW或DWH。數據倉庫的目的是構建面向分析的集成化數據環境 ...

摘要：大規模分布式系統中的故障無法避免。當DN發生單點故障時，恢復手段有哪些，又是如何恢復的，本節重點介紹操作gs_ctl build是如何修復DN單點故障的。 本文分享自華為雲社區《華為雲數倉備機DN重建，快速修復DN單點故障!》，原文作者：welblupen。 1. 技術背景 ...

指標體系建設的方法——SCDS四步法 一、構建指標體系 在建立指標體系之前，我們先了解一下指標的構成，在我們工作過程中遇見的指標多為派生性指標，即，原子性指標+修飾詞+時間段，修飾詞指標本身是可選內容，而原子性指標和時間段為必選內容。 在這里，原子性指標指的是不可 ...

一、用戶行為數倉. 1、數倉分層架構圖 2、埋點行為數據基本格式(基本字段) 3、項目經驗總結 MySQL的高可用 存儲元數據，搭建時要進行高可用HA 4、日期函數 1）date_add、date_sub函數（加減日期）2）next_day函數（周指標相關 ...

一、數倉搭建 - DWS 層1.1 業務術語1）用戶用戶以設備為判斷標准，在移動統計中，每個獨立設備認為是一個獨立用戶。Android系統根據 IMEI 號，IOS 系統根據 OpenUDID 來標識一個獨立用戶，每部手機一個用戶2）新增用戶首次聯網使用應用的用戶。如果一個用戶首次打開某 APP ...

Flink使用HiveCatalog可以通過批或者流的方式來處理Hive中的表。這就意味着Flink既可以作為Hive的一個批處理引擎，也可以通過流處理的方式來讀寫Hive中的表，從而為實時數倉的應用和流批一體的落地實踐奠定了堅實的基礎。本文將以Flink1.12為例，介紹Flink ...