虚拟机： hadoop:3.2.0 hive:3.1.2 win10： eclipse 两阶段数据清洗： （1）第一阶段：把需要的信息从原始日志中提取出来 ip: 199.30.25.88 time: 10/Nov/2016:00:01:03 +0800 ...

一、 glog的简介 glog所记录的日志信息总是记录到标准的stderr中，即控制台终端。 每一行日志记录总是会添加一个谷歌风格的前缀，即google-style log prefix, 它的形式如下： E0924 22:19:15.123456 19552 filename.py:87 ...

网站日志分析项目案例（一）项目介绍：http://www.cnblogs.com/edisonchou/p/4449082.html 网站日志分析项目案例（二）数据清洗：当前页面 网站日志分析项目案例（三）统计分析：http://www.cnblogs.com/edisonchou ...

之前使用 log4c 或者 log4cpp 的时候， 总需要配置一些文件和链接库之类复杂的配置。 虽然越复杂越说明这个软件支持的功能多、可选择性强， 但是对于一个小的项目，或者要研究他人的代码而加点儿日志的时候， 用这么复杂的配置就没必要了。 所以我就想，要不写个简单一些的日志库 ...

使用kettle7.0，java8.0，Navicat，实验数据使用全国肺炎2月24日的数据 1.建立关系 2.创建连接 如果是第一次连接，可能会出现连接不上的情况，这时候可能情况是没有将Mysql的运行jar包放到lib文件 ...

将csv文件导入hive后出现了所有的字段只显示在新建的表的第一个字段中，后面的字段全是null. 出现这种的原因是hive以行分隔数据，需要修改为按逗号' , ‘ 进行分隔读取， 具体操作如下， 首先在hive中创建自己的table, 并且设置以逗号分隔。 create ...

hive分析nginx日志一：http://www.cnblogs.com/wcwen1990/p/7066230.html hive分析nginx日志二：http://www.cnblogs.com/wcwen1990/p/7074298.html 接着来看： 1、首先编写UDF ...

原文连接：https://www.cnblogs.com/654wangzai321/p/9970321.html 把Hive表数据导入到本地 把Hive表数据导入到HDFS上 把本地数据导入到Hive表中 把HDFS上的数 ...