構建企業級數據湖？Azure Data Lake Storage Gen2實戰體驗（下）
相較傳統的重量級OLAP數據倉庫，“數據湖”以其數據體量大、綜合成本低、支持非結構化數據、查詢靈活多變等特點，受到越來越多企業的青睞，逐漸成為了現代數據平台的核心和架構范式。 作為微軟Azure上最新一代的數據湖服務，Data Lake Storage Gen2的發布，將雲上數據湖的能力和體驗 ...
原文：構建企業級數據湖？Azure Data Lake Storage Gen2實戰體驗（上）
背景 相較傳統的重量級OLAP數據倉庫， 數據湖 以其數據體量大 綜合成本低 支持非結構化數據 查詢靈活多變等特點，受到越來越多企業的青睞，逐漸成為了現代數據平台的核心和架構范式。 數據湖的核心功能，簡單地可以分為數據存儲與數據查詢計算兩個部分，在雲端可以有多種的實現選擇。在之前的文章中，我們曾介紹Azure上Azure Data Lake Storage ADLS Gen 和Azure Data ...
2019-08-18 11:09 0 704 推薦指數：
相關推薦
構建企業級數據湖？Azure Data Lake Storage Gen2實戰體驗（中）
引言 相較傳統的重量級OLAP數據倉庫，“數據湖”以其數據體量大、綜合成本低、支持非結構化數據、查詢靈活多變等特點，受到越來越多企業的青睞，逐漸成為了現代數據平台的核心和架構范式。 因此數據湖相關服務成為了雲計算的發展重點之一。Azure平台早年就曾發布第一代Data Lake Storage ...
Databricks 第8篇：把Azure Data Lake Storage Gen2 (ADLS Gen 2)掛載到DBFS
DBFS使用dbutils實現存儲服務的裝載（mount、掛載），用戶可以把Azure Data Lake Storage Gen2和Azure Blob Storage 賬戶裝載到DBFS中。Mount是Data Lake Storage Gen2的指針，因此數據不會同步到本地，但是用戶可以訪問 ...
項目實戰從0到1之hive（22）企業級數據倉庫構建（四）：數據倉庫項目實戰
總結1）數倉概念總結【1】數據倉庫的輸入數據源和輸出系統分別是什么？輸入系統：埋點產生的用戶行為數據、JavaEE 后台產生的業務數據輸出系統：報表系統、用戶畫像系統、推薦系統2）項目需求及架構總結【1】集群規模計算【2】框架版本選型1）Apache：運維麻煩，組件間兼容性需要自己調研。（一般大廠 ...
項目實戰從0到1之hive（23）企業級數據倉庫構建（五）：數據倉庫項目實戰
一、電商業務簡介1.1 電商業務流程1.2 電商常識（SKU、SPU）SKU=Stock Keeping Unit（庫存量基本單位）。現在已經被引申為產品統一編號的簡稱，每種產品均對應有唯一的 SKU ...
項目實戰從0到1之hive（26）企業級數據倉庫構建（八）：搭建DWD 層-業務數據
1.1 DWD 層（業務數據）1.1.1 商品維度表（全量表）1）建表語句 2）數據裝載 1.1.2 優惠券信息表（全量）把 ODS 層 ods_coupon_info 表數據導入到 DWD 層優惠卷信息表，在導入過程中可以做適當的清洗1）建表語 ...
項目實戰從0到1之hive（18） 企業級數據倉庫構建（一）
一、數據倉庫 數據倉庫（Data Warehouse），是為企業所有決策制定過程，提供所有系統數據支持的戰略集合通過對數據倉庫中數據的分析，可以幫助企業，改進業務流程、控制成本、提高產品質量等數據倉庫，並不是數據的最終目 的地，而是為數據最終的目的地做好准備。這些准備包括對數據的：清洗，轉義 ...
項目實戰從0到1之hive（25）企業級數據倉庫構建（七）：搭建DWD 層
一、數倉搭建 - DWD 層 1）對用戶行為數據解析 2）對核心數據進行判空過濾 3）對業務數據采用維度模型重新建模，即維度退化 1.1 DWD 層（用戶行為啟動表數據解析） 1.1.1 創建啟動表 1）建表語句 說明：數據采用 parquet 存儲方式 ...