上一篇使用Docker搭建了Hadoop的完全分布式：使用Docker搭建Hadoop集群(伪分布式与完全分布式)，本次记录搭建spark集群，使用两者同时来实现之前一直未完成的项目：网站日志流量 ...

一、概述 　　背景：在互联网应用中，日志是非常重要的数据，因为互联网项目往往要求是7*24不间断运行的，所以能获取到监控系统运行的相关日志数据并进行分析就显得非常重要。网站流量统计是改进网站服务的重 ...

一、概述　 　　日志埋点分为客户端和服务器端。参考并转自：https://www.cnblogs.com/hzhuxin/p/11152805.html，如有侵权，请联系删除。） 　　①客户端埋点 ...

一、概述 　　网站日志流量分析系统之（日志埋点）这里我们已经将相关数据通过ajax发送至日志服务器，这里我只用了一台日志服务器（本机Windows环境），日志收集主要分为以下几个步骤： 　　①日 ...

　　网站日志流量分析系统之（日志收集）已将数据落地收集并落地至HDFS，根据网站日志流量分析系统中架构图，接下来要做的事情就是做离线分析，编写MR程序或通过手写HQL对HDFS中的数据进行清洗；由于清 ...

一、概述 　　基于Docker搭建的环境：使用Docker搭建Spark集群（用于实现网站流量实时分析模块），运行项目后，各个数据正常，根据架构图，最后一步，进行数据可视化。 二、数据可视化 ...

　　之前已经完成zookeeper集群、Hadoop集群、HBase集群、Flume、Kafka集群、Spark集群的搭建：使用Docker搭建Spark集群（用于实现网站流量实时分析模块），且离线分 ...