一、BI 商業智能(Business Intelligence,簡稱:BI),又稱商業智慧或商務智能,指用現代數據倉庫技術、線上分析處理技術、數據挖掘和數據展現技術進行數據分析以實現商業價值。 商業智能的概念在1996年最早由加特納集團(Gartner Group)提出,加特納集團 ...
前言 上一篇重點講解了數據倉庫建模,它是數據倉庫開發中最核心的部分。然而完整的數據倉庫系統還會涉及其他一些組件的開發,其中最主要的是ETL工程,在線分析處理工具 OLAP 和商務智能 BI 應用等。 本文將對這些方面做一個總體性的介紹 尤其是OLAP ,旨在讓讀者對數據倉庫的認識提升到一個全局性的高度。 創建數據倉庫 數據倉庫的創建方法和數據庫類似,也是通過編寫DDL語句來實現。在過去,數據倉庫系 ...
2016-03-28 19:08 11 41834 推薦指數:
一、BI 商業智能(Business Intelligence,簡稱:BI),又稱商業智慧或商務智能,指用現代數據倉庫技術、線上分析處理技術、數據挖掘和數據展現技術進行數據分析以實現商業價值。 商業智能的概念在1996年最早由加特納集團(Gartner Group)提出,加特納集團 ...
第一章 數倉搭建-ODS層 1)保持數據原貌不做任何修改,起到備份數據的作用。 2)數據采用LZO壓縮,減少磁盤存儲空間。100G數據可以壓縮到10G以內。 3)創建分區表,防止后續的全表掃描,在企業開發中大量使用分區表。 4)創建外部表。在企業開發中,除了自己用的臨時表,創建內部表外 ...
前言 經過2節對MovieLens數據集的學習,想必讀者對MovieLens數據集認識的不錯了;同時也順帶回顧了些Spark編程技巧,Python數據分析技巧。 本節將是讓人興奮的一節,它將實現一個基於Spark的推薦系統引擎。 PS1:關於推薦算法 ...
星型數據倉庫olap工具kylin介紹 數據倉庫是目前企業級BI分析的重要平台,尤其在互聯網公司,每天都會產生數以百G的日志,如何從這些日志中發現數據的規律很重要. 數據倉庫是數據分析的重要工具, 每個大公司都花費數百萬每年的資金進行數據倉庫的運維. 本文介紹一個基於hadoop ...
1. 引言 本篇主要介紹數據倉庫中的一項重要分析技術——聯系分析處理(OLAP)。 在第一篇筆者介紹到數據處理主要有兩種,操作型數據處理和分析型數據處理,前者可以稱為OLTP,后者可以稱為OLAP。本篇將具體介紹什么是OLAP?它與OLTP的區別是什么?多維數據模型和多維分析操作 ...
https://blog.csdn.net/laven54/article/details/9840365 最近數據庫升級到11G之后,出現一些問題,慢慢的開始發現一些需要總結的東西,每次心里都在想:下次,我自己搭建數據倉庫的時候,一定要注意這些細節,在倉庫的創建初期就做好這些工作 ...
前言 spring-boot 支持多種模版引擎包括: 1,FreeMarker 2,Groovy 3,Thymeleaf (Spring 官網使用這個) 4,Velocity 5,JSP (貌似Spring Boot官方不推薦,STS創建的項目會在src/main/resources 下有 ...
公司內部的數據自下而上流動,同時完成數據到信息、知識、洞察的轉化過程。 而企業內部數據,從日常OLTP流程中產生,實時存儲進不同的數據庫中。同時定期被提取、經格式轉化、清洗和加載(ETL),以統一的格式存儲進數據倉庫,以供決策者進行OLAP處理,並將處理結果可視化。 OLTP & ...