網站日志流量分析系統之數據可視化展示


一、概述

  基於Docker搭建的環境:使用Docker搭建Spark集群(用於實現網站流量實時分析模塊),運行項目后,各個數據正常,根據架構圖,最后一步,進行數據可視化。

二、數據可視化

  數據可視化代碼:https://github.com/Simple-Coder/log-demo

  用戶通過點擊頁面,JS收集信息發送至日志服務器,日志服務器將日志轉發至Flume,flume落地至HDFS(離線分析)、Kafka(實時分析),Hive進行離線分析(之前已經實現:網站日志流量分析系統之數據清洗處理(離線分析)),Spark Streaming消費Kafka消息(),HBase做中間存儲歷史數據,最終寫入Mysql,進行可視化展示。

  至此、網站日志流量分析系統離線分析、實時分析模塊完成。

  如有問題,歡迎指正~


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM