一、说在前面的话 　　上一篇，楼主介绍了使用flume集群来模拟网站产生的日志数据收集到hdfs。但我们所采集的日志数据是不规则的，同时也包含了许多无用的日志。当需要分析一些核心指标来满足系统业务决策的时候，对日志的数据清洗在所难免，楼主本篇将介绍如何使用mapreduce程序对日志数据进行 ...

python 计算机基础 1.typora基本用法 2.计算机发展史 3.认识计算机 4.计算机网络 5.windows DOS命令 6.windows DOS其他命令操作 7.进程 ...

数据分析的概念 什么是数据分析 　　就是从现有的数据中挖掘出价值 数据分析应用领域 　　商品推荐 　　　　eg：在淘宝上搜索了一款产品之后，接下来就会疯狂给你推荐相关产品 　　量化交易 　　　　股票，期货等数据分析 　　短视频推送 　　　　抖音，今日头条等短视频 （数据分析 ...

百度搜索大数据，就会发现这是一个日均搜索达到4000K的热词，在头条上也是如此，只增不降。 ![](https://imgconvert.csdnimg.cn ...

目录 python基础 第一章 python的入门 第二章 python的基本使用、常量和变量 第三章 python的数据类型和赋值操作 第四章 Python的运算、数据和流程判断 第五章 python的for和内置函数运用 第六章 python的字符编码系统和文件操作 第七章 ...

第一章：数据分析介绍 01 数据分析介绍 第二章：开发环境部署 01 开发环境部署 → B站视频链接（p1-p3） 第三章：Numpy 01 Numpy → B站视频链接（p4-p9） 第四章：Pandas 01 Pandas → B站视频链接 ...

1、点击流数据模型 1.1、点击流概念 点击流（Click Stream）是指用户在网站上持续访问的轨迹。这个概念更注重用户浏览网站的整个流程。用户对网站的每次访问包含了一系列的点击动作行为，这些点击行为数据就构成了点击流数据（Click Stream Data），它代表了用户浏览网站 ...

一。背景 前端web服务器为nginx，采用filebeat + logstash + elasticsearch + granfa 进行数据采集与展示，对客户端ip进行地域统计，监控服务器响应时间等。 二。业务整体架构： nginx日志落地 ...