5 大数据实战-hive实战分析
1 内部表 Show databses; Use hive_data; 1.1 创建内部表 CREATE TABLE SOGOUQ2(DT STRIN ...
原文：大数据实战：用户流量分析系统
版权申明：本文系作者原创，转载请注明出处 文章出处：http: blog.csdn.net sdksdk article details 作者：朱培 本文是结合hadoop中的mapreduce来对用户数据进行分析，统计用户的手机号码 上行流量 下行流量 总流量的信息，同时可以按照总流量大小对用户进行分组排序等。是一个非常简洁易用的hadoop项目，主要用户进一步加强对MapReduce的理解及 ...
2016-06-11 13:14 0 4408 推荐指数：
相关推荐
网站日志流量分析系统
一、概述 背景：在互联网应用中，日志是非常重要的数据，因为互联网项目往往要求是7*24不间断运行的，所以能获取到监控系统运行的相关日志数据并进行分析就显得非常重要。网站流量统计是改进网站服务的重要手段之一，通过获取用户在网站的行为数据，进行分析，从而得到有价值的信息，并基于这些信息对网站进行 ...
加密恶意流量分析-Maltrail恶意流量检测系统
项目介绍 maltrail是一款轻量级的恶意流量检测系统，其工作原理是通过采集网络中各个开源黑样本（包括IP、域名、URL），在待检测目标机器上捕获流量并进行恶意流量匹配，匹配成功则在其web页面上展示命中的恶意流量。 项目GitHub地址 ...
网站日志流量分析系统之数据清洗处理（离线分析）
网站日志流量分析系统之（日志收集）已将数据落地收集并落地至HDFS，根据网站日志流量分析系统中架构图，接下来要做的事情就是做离线分析，编写MR程序或通过手写HQL对HDFS中的数据进行清洗；由于清洗逻辑比较简单，这里我选择用Hive来对HDFS中的数据进行清洗（当然也可以用MR来清洗 ...
Cknife流量分析
POST的数据如下图所示 对POST的数据解码 z2是whoami经过c ...
加密流量分析
1.背景 现在很多高级的攻击的目的都是为了获取数据，部分是为了损人不利己的破坏。对于前者，主要是把获取的机密信息加密绕过DLP系统传输到外面，这也是很多安全事件的源头。不解密，技术人员无法检测此类恶意软件，这就意味着他们面临在安全和隐私之间需要做出权衡。 2.简述 用于保护在线数据 ...
网站日志流量分析系统之数据可视化展示
一、概述 基于Docker搭建的环境：使用Docker搭建Spark集群（用于实现网站流量实时分析模块），运行项目后，各个数据正常，根据架构图，最后一步，进行数据可视化。 二、数据可视化 数据可视化代码：https://github.com/Simple-Coder ...
大数据项目课：项目实战：大数据电商用户画像
百度云盘连接地址： 链接： https://pan.baidu.com/s/1FgSCmUNlZvFPGZYP7dtxrg 提取码：36tg 课程大纲 第1章 用户画像基础知识 第1章 用户画像基础知识 ...