一、BI 商业智能(Business Intelligence,简称:BI),又称商业智慧或商务智能,指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。 商业智能的概念在1996年最早由加特纳集团(Gartner Group)提出,加特纳集团 ...
前言 上一篇重点讲解了数据仓库建模,它是数据仓库开发中最核心的部分。然而完整的数据仓库系统还会涉及其他一些组件的开发,其中最主要的是ETL工程,在线分析处理工具 OLAP 和商务智能 BI 应用等。 本文将对这些方面做一个总体性的介绍 尤其是OLAP ,旨在让读者对数据仓库的认识提升到一个全局性的高度。 创建数据仓库 数据仓库的创建方法和数据库类似,也是通过编写DDL语句来实现。在过去,数据仓库系 ...
2016-03-28 19:08 11 41834 推荐指数:
一、BI 商业智能(Business Intelligence,简称:BI),又称商业智慧或商务智能,指用现代数据仓库技术、线上分析处理技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。 商业智能的概念在1996年最早由加特纳集团(Gartner Group)提出,加特纳集团 ...
第一章 数仓搭建-ODS层 1)保持数据原貌不做任何修改,起到备份数据的作用。 2)数据采用LZO压缩,减少磁盘存储空间。100G数据可以压缩到10G以内。 3)创建分区表,防止后续的全表扫描,在企业开发中大量使用分区表。 4)创建外部表。在企业开发中,除了自己用的临时表,创建内部表外 ...
前言 经过2节对MovieLens数据集的学习,想必读者对MovieLens数据集认识的不错了;同时也顺带回顾了些Spark编程技巧,Python数据分析技巧。 本节将是让人兴奋的一节,它将实现一个基于Spark的推荐系统引擎。 PS1:关于推荐算法 ...
星型数据仓库olap工具kylin介绍 数据仓库是目前企业级BI分析的重要平台,尤其在互联网公司,每天都会产生数以百G的日志,如何从这些日志中发现数据的规律很重要. 数据仓库是数据分析的重要工具, 每个大公司都花费数百万每年的资金进行数据仓库的运维. 本文介绍一个基于hadoop ...
1. 引言 本篇主要介绍数据仓库中的一项重要分析技术——联系分析处理(OLAP)。 在第一篇笔者介绍到数据处理主要有两种,操作型数据处理和分析型数据处理,前者可以称为OLTP,后者可以称为OLAP。本篇将具体介绍什么是OLAP?它与OLTP的区别是什么?多维数据模型和多维分析操作 ...
https://blog.csdn.net/laven54/article/details/9840365 最近数据库升级到11G之后,出现一些问题,慢慢的开始发现一些需要总结的东西,每次心里都在想:下次,我自己搭建数据仓库的时候,一定要注意这些细节,在仓库的创建初期就做好这些工作 ...
前言 spring-boot 支持多种模版引擎包括: 1,FreeMarker 2,Groovy 3,Thymeleaf (Spring 官网使用这个) 4,Velocity 5,JSP (貌似Spring Boot官方不推荐,STS创建的项目会在src/main/resources 下有 ...
公司内部的数据自下而上流动,同时完成数据到信息、知识、洞察的转化过程。 而企业内部数据,从日常OLTP流程中产生,实时存储进不同的数据库中。同时定期被提取、经格式转化、清洗和加载(ETL),以统一的格式存储进数据仓库,以供决策者进行OLAP处理,并将处理结果可视化。 OLTP & ...