數據倉庫原理<1>：數據庫與數據倉庫
updated 2015.8.27 updated 2015.8.26 updated 2015.8.23 0. 說明 《數據倉庫原理》系列博文，是筆者在學習數據倉庫與商業智能時的讀書筆記，現重新梳理思路，分享在這里，希望讀者批評指正。 本系列主要包括以下幾部 ...
原文：數據倉庫原理與實戰
第一章簡介 數據倉庫誕生背景 數據倉庫概述 MPP amp 分布式架構 數據倉庫技術實現 常見數據倉庫產品 第二章架構 數據倉庫架構設計 ETL流程 數據積存功能之ODS層 數據分析功能之DWD DWS ADS層 第三章建模 不同系統的建模方法 ROLAP維度模型 MOLAP建模方法 多維分析 第四章最佳實踐 表的分類 ETL同步策略 任務調度 第五章項目實戰 項目 amp 數據概述 架構設計 a ...
2020-10-11 11:00 1 1362 推薦指數：
相關推薦
數據倉庫原理<3>：數據倉庫與ODS
1. 引言 本篇主要講述操作數據存儲（ODS）系統產生的背景、定義、特點，以及它與數據倉庫的區別。 在前兩篇，筆者介紹了什么是數據倉庫？為什么需要數據倉庫？數據倉庫系統的體系結構是什么？因此可能在讀者心里已經形成了企業數據存儲的DB~DW兩層體系結構的概念，但在實際應用中，並不總是 ...
基於Hive數據倉庫的標簽畫像實戰
本期內容主要介紹使用Hive作為數據倉庫的應用場景時，相應的庫表結構如何設計。 Hive數據倉庫 建立用戶畫像首先需要建立數據倉庫，用於存儲用戶標簽數據。Hive是基於Hadoop的數據倉庫工具，依賴於HDFS存儲數據，提供的SQL語言可以查詢存儲在HDFS中的數據。開發時一般使用Hive ...
項目實戰從0到1之hive（22）企業級數據倉庫構建（四）：數據倉庫項目實戰
總結1）數倉概念總結【1】數據倉庫的輸入數據源和輸出系統分別是什么？輸入系統：埋點產生的用戶行為數據、JavaEE 后台產生的業務數據輸出系統：報表系統、用戶畫像系統、推薦系統2）項目需求及架構總結【1】集群規模計算【2】框架版本選型1）Apache：運維麻煩，組件間兼容性需要自己調研。（一般大廠 ...
項目實戰從0到1之hive（23）企業級數據倉庫構建（五）：數據倉庫項目實戰
一、電商業務簡介1.1 電商業務流程1.2 電商常識（SKU、SPU）SKU=Stock Keeping Unit（庫存量基本單位）。現在已經被引申為產品統一編號的簡稱，每種產品均對應有唯一的 SKU ...
hadoop入門到實戰（3）hive數據倉庫入門到實戰及面試
第一章、hive入門 一、hive入門手冊 1.什么是數據倉庫 1.1數據倉庫概念 對歷史數據變化的統計，從而支撐企業的決策。比如：某個商品最近一個月的銷量，預判下個月應該銷售多少，從而補充多少貨源。 1.2傳統數據倉庫面臨的挑戰 （1）無法滿足快速增長的海量數據存儲需求 （2）無法有效 ...
大數據開發實戰：數據倉庫技術
1、OLTP和OLAP OLTP的全稱是 Online Transaction Processing, OLTP主要用傳統的關系型數據庫來進行事務處理。OLTP最核心的需求是單條記錄的高效快速處理，索引技術、 分庫分表等最根本的訴求就是解決此問題 ...
數據倉庫原理<2>：數據倉庫系統的體系結構
## 1. 引言 `本篇主要講述數據倉庫系統的體系結構與組成要素、數據集市與數據倉庫之間的關系、元數據的定義與作用。` 在[上一篇](http://www.cnblogs.com/hbsygfz/p/4752418.html)，筆者介紹了數據倉庫的定義： > “數據倉庫是一個面向 ...