一、项目概述 本项目主要用于互联网电商企业中，使用Spark技术开发的大数据统计分析平台，对电商网站的各种用户行为（访问行为、购物行为、广告点击行为等）进行复杂的分析。用统计分析出来的数据，辅助公司 ...

一、模拟生成数据 View Code 二、构建Spark上下文 View Code 三、打印的测试数据 3.1　use ...

一、对用户访问session进行分析 1、可以根据使用者指定的某些条件，筛选出指定的一些用户（有特定年龄、职业、城市）； 2、对这些用户在指定日期范围内发起的session，进行聚合统计，比如，统 ...

...

...

Zookeeper集群搭建 http://www.cnblogs.com/qingyunzong/p/8619184.html Hadoop集群搭建 http://www.cnblogs.com ...

一、CentOS7集群搭建 1.1　准备3台centos7的虚拟机 IP及主机名规划如下： 192.168.123.110 spark1192.168.123.111 spark2192.168 ...

一、user_visit_action（Hive表） 1.1　表的结构 date：日期，代表这个用户点击行为是在哪一天发生的user_id：代表这个点击行为是哪一个用户执行的sess ...

1、按条件筛选session 搜索过某些关键词的用户、访问时间在某个时间段内的用户、年龄在某个范围内的用户、职业在某个范围内的用户、所在某个城市的用户，发起的session。找到对应的这些用户的se ...

一、创建Maven项目 创建项目，名称为LogAnalysis 二、常用工具类 2.1　配置管理组建 ConfigurationManager.java V ...