一、概述
基於Docker搭建的環境:使用Docker搭建Spark集群(用於實現網站流量實時分析模塊),運行項目后,各個數據正常,根據架構圖,最后一步,進行數據可視化。
二、數據可視化
數據可視化代碼:https://github.com/Simple-Coder/log-demo
用戶通過點擊頁面,JS收集信息發送至日志服務器,日志服務器將日志轉發至Flume,flume落地至HDFS(離線分析)、Kafka(實時分析),Hive進行離線分析(之前已經實現:網站日志流量分析系統之數據清洗處理(離線分析)),Spark Streaming消費Kafka消息(),HBase做中間存儲歷史數據,最終寫入Mysql,進行可視化展示。
至此、網站日志流量分析系統離線分析、實時分析模塊完成。
如有問題,歡迎指正~