5 大數據實戰-hive實戰分析
1 內部表 Show databses; Use hive_data; 1.1 創建內部表 CREATE TABLE SOGOUQ2(DT STRIN ...
原文：大數據實戰：用戶流量分析系統
版權申明：本文系作者原創，轉載請注明出處 文章出處：http: blog.csdn.net sdksdk article details 作者：朱培 本文是結合hadoop中的mapreduce來對用戶數據進行分析，統計用戶的手機號碼 上行流量 下行流量 總流量的信息，同時可以按照總流量大小對用戶進行分組排序等。是一個非常簡潔易用的hadoop項目，主要用戶進一步加強對MapReduce的理解及 ...
2016-06-11 13:14 0 4408 推薦指數：
相關推薦
網站日志流量分析系統
一、概述 背景：在互聯網應用中，日志是非常重要的數據，因為互聯網項目往往要求是7*24不間斷運行的，所以能獲取到監控系統運行的相關日志數據並進行分析就顯得非常重要。網站流量統計是改進網站服務的重要手段之一，通過獲取用戶在網站的行為數據，進行分析，從而得到有價值的信息，並基於這些信息對網站進行 ...
加密惡意流量分析-Maltrail惡意流量檢測系統
項目介紹 maltrail是一款輕量級的惡意流量檢測系統，其工作原理是通過采集網絡中各個開源黑樣本（包括IP、域名、URL），在待檢測目標機器上捕獲流量並進行惡意流量匹配，匹配成功則在其web頁面上展示命中的惡意流量。 項目GitHub地址 ...
網站日志流量分析系統之數據清洗處理（離線分析）
網站日志流量分析系統之（日志收集）已將數據落地收集並落地至HDFS，根據網站日志流量分析系統中架構圖，接下來要做的事情就是做離線分析，編寫MR程序或通過手寫HQL對HDFS中的數據進行清洗；由於清洗邏輯比較簡單，這里我選擇用Hive來對HDFS中的數據進行清洗（當然也可以用MR來清洗 ...
Cknife流量分析
POST的數據如下圖所示 對POST的數據解碼 z2是whoami經過c ...
加密流量分析
1.背景 現在很多高級的攻擊的目的都是為了獲取數據，部分是為了損人不利己的破壞。對於前者，主要是把獲取的機密信息加密繞過DLP系統傳輸到外面，這也是很多安全事件的源頭。不解密，技術人員無法檢測此類惡意軟件，這就意味着他們面臨在安全和隱私之間需要做出權衡。 2.簡述 用於保護在線數據 ...
網站日志流量分析系統之數據可視化展示
一、概述 基於Docker搭建的環境：使用Docker搭建Spark集群（用於實現網站流量實時分析模塊），運行項目后，各個數據正常，根據架構圖，最后一步，進行數據可視化。 二、數據可視化 數據可視化代碼：https://github.com/Simple-Coder ...
大數據項目課：項目實戰：大數據電商用戶畫像
百度雲盤連接地址： 鏈接： https://pan.baidu.com/s/1FgSCmUNlZvFPGZYP7dtxrg 提取碼：36tg 課程大綱 第1章 用戶畫像基礎知識 第1章 用戶畫像基礎知識 ...