上一篇使用Docker搭建了Hadoop的完全分布式：使用Docker搭建Hadoop集群(偽分布式與完全分布式)，本次記錄搭建spark集群，使用兩者同時來實現之前一直未完成的項目：網站日志流量分析系統（該系統目前用虛擬機實現了離線分析模塊，實時分析由於資源問題尚未完成---這次spark ...

網站日志實時分析工具GoAccess使用 系統環境CentOS release 5.5 (Final) GoAccess是一款開源的網站日志實時分析工具。 GoAccess 的工作方式就是讀取和解析 Apache/Nginx/Lighttpd 的訪問日志文件 access log ...

導讀：隨着數據量的快速增長，越來越多的企業迎來業務數據化時代，數據成為了最重要的生產資料和業務升級依據。本文由阿里AnalyticDB團隊出品，近萬字長文，首次深度解讀阿里在海量數據實時分析領域的多項核心技術。 數字經濟時代已經來臨，希望能和業界同行共同探索，加速行業數字化升級，服務更多 ...

python隨着人工智能的發展，越來越火熱。但其實python在運維測試方面，也是一把利器。 最近就碰到了個需求，就順手寫了個python程序。用慣了go，不過發現python好像更簡單點 😃 涉及 ...

第1章 SparkStreaming概述 1.1 Spark Streaming是什么 　　Spark Streaming用於流式數據的處理。Spark Streaming支持的數據輸入源 ...

原文地址：https://yq.aliyun.com/articles/227006 阿里雲日志服務是針對日志類數據一站式服務，用戶只需要將精力集中在分析上，過程中數據采集、對接各種存儲計算、數據索引和查詢等瑣碎工作等都可以交給服務。2017年9月日志服務加強日志實時分析功能（LogSearch ...

網站獨立訪客數（UV）的統計 　　另外一個統計流量的重要指標是網站的獨立訪客數（Unique Visitor，UV）。UV指的是一段時間（比如一小時）內訪問網站的總人數，1 天內同一訪客的多次訪問 只記錄為一個訪客。通過 IP 和 cookie 一般是判斷 UV 值的兩種方式 ...

先啟動spark-shell,記得啟動nc服務 輸入以下代碼 在nc輸入幾個單詞 我們再輸 ...