先从大数据数据仓库建设的整体架构说起。 下图是数据仓库的逻辑分层架构： 想看懂数据仓库的逻辑分层架构，必须先弄懂以下4大概念。 数据源：数据来源，互联网公司的数据来源随着公司的规模扩张而呈递增趋势，同时自不同的业务源，比如埋点采集，客户上报，API等。 ODS层：数据仓库源头系统 ...

前言 数据仓库是今年来适应利用数据支持决策分析的强烈需求而发展起来的数据库应用技术，诚然，数据仓库以数据库为基础，但是他在需求、客户、体系结构与运行机制等方面与数据库存在重大的不同，Kimball说:"我们花了二十年的时间往数据库中加入数据，现在该是拿出来使用的时候了。" ---摘自 ...

1. 摘要 对于大数据而言，数据仓库承载着整个企业的全业务的数据。早期数仓在关系型数据如Oracle，MySql上。到大数据时代，基于hadoop生态的大数据架构，数仓基本上都是基于hive的数仓。对于很多大数据开发者而言，特别是早期，很多开发者认为hive数仓就是和业务相关，隐射Hdfs ...

建立数据仓库是一个解决企业问题的过程，业务人员往往不懂如何建立和使用数据仓库，发挥其决策支持的作用;信息部门的人员往往又不懂业务，不知道应该建立哪些决策主题，从数据源中抽取哪些数据。因此数据仓库的项目小组应该由业务人员和信息部门的人员共同组成，双方需要相互沟通，协作开发数据仓库 ...

，还是几小时。 2.选择满足数据仓库系统要求的软件平台 选择合适的软件平台，包括数据库、建模工具、分 ...

原文：https://www.jianshu.com/p/4e72b22edf49 1、数据仓库与数据库 2、为什么要数据仓库 3、数据仓库的好处 4、数据仓库的建设 5、数据仓库中会遇到的问题 ...

一、数据埋点规范 1、数据传输与协议 标准JSON格式，经过：https(aes加密+gzip压缩)处理，上报到服务端。 2、埋点规范与约束 1）采用事件模型，一切都是事件。所有的数据都以事件形式上报，形成“基础信息 + 事件信息”这种数据模型，包括：SDK自采集、用户行为、App自动行为、APM ...

一、数据仓库实施流程： 梳理指标体系： 根据公司实际指标体系，简单的做下总结 确定数据来源 如哪些业务系统，订单、商品、库存、供应商、合作商、采购、营建、资产、运营等系统。 确定各系统的数据体系 如现制商品数、外购商品数、等效商品数、客均商品数、响应时长、超时时长、外送时长、准时率 ...