网易云音乐用户画像大数据项目实战 之前本人整理的大多为学习笔记进行知识点的整理，而这篇将会把以前的大部分知识点串联起来，搞一个完整的项目，主要涉及的流程为模拟用户日志数据的生成，ETL以及编写sql分析函数进行最终的APP层数据的生成，由于该项目之前有做过，因此本次会在以前基础上做一些改进 ...

一、数据仓库概念 数据仓库（Data Warehouse） 　　是为企业所有决策制定过程，提供所有系统数据支持的战略集合。 二、项目需求及架构设计 2.1 项目需求分析 　　1、项目需求 　　　1）用户行为数据采集平台搭建 　　　2）业务数据采集平台搭建 　　　3）数据仓库维度 ...

Zookeeper集群搭建 http://www.cnblogs.com/qingyunzong/p/8619184.html Hadoop集群搭建 http://www.cnblogs.com ...

一、项目概述 本项目主要用于互联网电商企业中，使用Spark技术开发的大数据统计分析平台，对电商网站的各种用户行为（访问行为、购物行为、广告点击行为等）进行复杂的分析。用统计分析出来的数据，辅助公司中的PM（产品经理）、数据分析师以及管理人员分析现有产品的情况，并根据用户行为分析结果持续改进产品 ...

...

...

一、概述 数据设计，往往包含两个环节： 第一个：就是我们的上游数据，就是数据调研环节看到的项目基于的基础数据，是否要针对其开发一些Hive ETL，对数据进行进一步的处理和转换，从而让我们能够更加方便的和快速的去计算和执行spark作业； 第二个：就是要设计spark作业要保存结果数据的业务 ...

1、按条件筛选session 搜索过某些关键词的用户、访问时间在某个时间段内的用户、年龄在某个范围内的用户、职业在某个范围内的用户、所在某个城市的用户，发起的session。找到对应的这些用户的session，也就是我们所说的第一步，按条件筛选session。 这个功能，就最大的作用就是灵活 ...