項目實戰從0到1之hive（22）企業級數據倉庫構建（四）：數據倉庫項目實戰
總結1）數倉概念總結【1】數據倉庫的輸入數據源和輸出系統分別是什么？輸入系統：埋點產生的用戶行為數據、JavaEE 后台產生的業務數據輸出系統：報表系統、用戶畫像系統、推薦系統2）項目需求及架構總結【1】集群規模計算【2】框架版本選型1）Apache：運維麻煩，組件間兼容性需要自己調研。（一般大廠 ...
原文：企業級數據倉庫是什么
一 數據倉庫定義 簡單理解：數據倉庫就是整合多個數據源的歷史數據進行細粒度的 多維的分析，幫助高層管理者或者業務分析人員做出商業戰略決策或商業報表。 官方定義：數據倉庫是一個面向主題的 主題明確 集成的 從不同的數據源采集到同一個數據源 隨時間變化的 關鍵數據是可變的可更新的 但信息本身相對穩定 一般只進行查詢的操作 的數據集合，用於對管理決策過程的支持。 二 數據倉庫應用 差異項 數據庫 數據倉 ...
2021-10-06 22:28 0 192 推薦指數：
相關推薦
項目實戰從0到1之hive（23）企業級數據倉庫構建（五）：數據倉庫項目實戰
一、電商業務簡介1.1 電商業務流程1.2 電商常識（SKU、SPU）SKU=Stock Keeping Unit（庫存量基本單位）。現在已經被引申為產品統一編號的簡稱，每種產品均對應有唯一的 SKU ...
項目實戰從0到1之hive（26）企業級數據倉庫構建（八）：搭建DWD 層-業務數據
1.1 DWD 層（業務數據）1.1.1 商品維度表（全量表）1）建表語句 2）數據裝載 1.1.2 優惠券信息表（全量）把 ODS 層 ods_coupon_info 表數據導入到 DWD 層優惠卷信息表，在導入過程中可以做適當的清洗1）建表語 ...
項目實戰從0到1之hive（18） 企業級數據倉庫構建（一）
一、數據倉庫 數據倉庫（Data Warehouse），是為企業所有決策制定過程，提供所有系統數據支持的戰略集合通過對數據倉庫中數據的分析，可以幫助企業，改進業務流程、控制成本、提高產品質量等數據倉庫，並不是數據的最終目 的地，而是為數據最終的目的地做好准備。這些准備包括對數據的：清洗，轉義 ...
項目實戰從0到1之hive（25）企業級數據倉庫構建（七）：搭建DWD 層
一、數倉搭建 - DWD 層 1）對用戶行為數據解析 2）對核心數據進行判空過濾 3）對業務數據采用維度模型重新建模，即維度退化 1.1 DWD 層（用戶行為啟動表數據解析） 1.1.1 創建啟動表 1）建表語句 說明：數據采用 parquet 存儲方式 ...
項目實戰從0到1之hive（24）企業級數據倉庫構建（六）：數倉理論及數倉搭建
一、數倉分層1.1 為什么要分層1.2 數據集市與數據倉庫概念1.3 數倉命名規范1.3.1 表命名 ODS層命名為ods_表名 DWD層命名為dwd_dim/fact_表名 DWS層命名為dws_表名 DWT層命名為dwt_購物車 ADS層命名為ads_表名 臨時表 ...
數據倉庫是什么
數據庫是最常聽到的名詞之一了，但是當提到數據倉庫的時候，就會疑問，數據倉庫是數據庫嗎？ 如果不是，數據倉庫是什么，用來干什么的呢？ 平時遇到這個問題一般還真是不好簡單明了的回答，因為也的確不是一兩句話說的清的。那么數據倉庫到底是什么呢，跟數據庫有什么區別呢？ 數據倉庫是什么 ...
數據倉庫是什么？
數據倉庫是伴隨着信息技術和決策支持系統（DSS，Decision Support System）的發展而產生的，利用歷史的操作數據進行管理和決策。 數據倉庫是一個面向主題的、集成的、非易失的、隨着時間變化的，用於支持管理人員決策的數據集合，數據倉庫包含粒度化的企業數據，在不同的粒度級別上對數據 ...