構建企業級數據湖？Azure Data Lake Storage Gen2實戰體驗（下）
相較傳統的重量級OLAP數據倉庫，“數據湖”以其數據體量大、綜合成本低、支持非結構化數據、查詢靈活多變等特點，受到越來越多企業的青睞，逐漸成為了現代數據平台的核心和架構范式。 作為微軟Azure上最新一代的數據湖服務，Data Lake Storage Gen2的發布，將雲上數據湖的能力和體驗 ...
原文：構建企業級數據湖？Azure Data Lake Storage Gen2實戰體驗（中）
引言 相較傳統的重量級OLAP數據倉庫， 數據湖 以其數據體量大 綜合成本低 支持非結構化數據 查詢靈活多變等特點，受到越來越多企業的青睞，逐漸成為了現代數據平台的核心和架構范式。 因此數據湖相關服務成為了雲計算的發展重點之一。Azure平台早年就曾發布第一代Data Lake Storage，隨后微軟將它與Azure Storage進行了大力整合，於今年初正式對外發布了其第二代產品：Azure ...
2019-09-23 00:28 0 610 推薦指數：
相關推薦
構建企業級數據湖？Azure Data Lake Storage Gen2實戰體驗（上）
，我們曾介紹Azure上Azure Data Lake Storage (ADLS Gen1)和Azure ...
Databricks 第8篇：把Azure Data Lake Storage Gen2 (ADLS Gen 2)掛載到DBFS
DBFS使用dbutils實現存儲服務的裝載（mount、掛載），用戶可以把Azure Data Lake Storage Gen2和Azure Blob Storage 賬戶裝載到DBFS中。Mount是Data Lake Storage Gen2的指針，因此數據不會同步到本地，但是用戶可以訪問 ...
項目實戰從0到1之hive（22）企業級數據倉庫構建（四）：數據倉庫項目實戰
總結1）數倉概念總結【1】數據倉庫的輸入數據源和輸出系統分別是什么？輸入系統：埋點產生的用戶行為數據、JavaEE 后台產生的業務數據輸出系統：報表系統、用戶畫像系統、推薦系統2）項目需求及架構總結【1】集群規模計算【2】框架版本選型1）Apache：運維麻煩，組件間兼容性需要自己調研。（一般大廠 ...
項目實戰從0到1之hive（23）企業級數據倉庫構建（五）：數據倉庫項目實戰
一、電商業務簡介1.1 電商業務流程1.2 電商常識（SKU、SPU）SKU=Stock Keeping Unit（庫存量基本單位）。現在已經被引申為產品統一編號的簡稱，每種產品均對應有唯一的 SKU ...
項目實戰從0到1之hive（26）企業級數據倉庫構建（八）：搭建DWD 層-業務數據
1.1 DWD 層（業務數據）1.1.1 商品維度表（全量表）1）建表語句 2）數據裝載 1.1.2 優惠券信息表（全量）把 ODS 層 ods_coupon_info 表數據導入到 DWD 層優惠卷信息表，在導入過程中可以做適當的清洗1）建表語 ...
項目實戰從0到1之hive（18） 企業級數據倉庫構建（一）
一、數據倉庫 數據倉庫（Data Warehouse），是為企業所有決策制定過程，提供所有系統數據支持的戰略集合通過對數據倉庫中數據的分析，可以幫助企業，改進業務流程、控制成本、提高產品質量等數據倉庫，並不是數據的最終目 的地，而是為數據最終的目的地做好准備。這些准備包括對數據的：清洗，轉義 ...
項目實戰從0到1之hive（25）企業級數據倉庫構建（七）：搭建DWD 層
一、數倉搭建 - DWD 層 1）對用戶行為數據解析 2）對核心數據進行判空過濾 3）對業務數據采用維度模型重新建模，即維度退化 1.1 DWD 層（用戶行為啟動表數據解析） 1.1.1 創建啟動表 1）建表語句 說明：數據采用 parquet 存儲方式 ...