ETL实践--Spark做数据清洗 上篇博客，说的是用hive代替kettle的表关联。是为了提高效率。 本文要说的spark就不光是为了效率的问题。 1、用spark的原因 （如果是一个sql能搞定的关联操作，可以直接用kettle导原始数据到hive，用hive ...

Kafka Streams 1.Apache Kafka开源项目的一个组成部分,是一个功能强大,易于使用的库.用于在Kafka上构建高可分布,可拓展,高容错的应用程序. 2.Kafka Strea ...

本文主要讲述kettle的使用和与Java整合,具体下载与安装请自行百度! kettle有两种脚本方式:转换和工作,工作中可以添加转换.以下以转换为例. 1.新建一个转换, 2.在工作中经常用到的是表输入和表输出（从一个数据库中提炼数据，插入到另外一个数据库中进 ...

...

...

环境　　hadoop-2.6.5 　　首先要知道为什么要做数据清洗？通过各个渠道收集到的数据并不能直接用于下一步的分析，所以需要对这些数据进行缺失值清洗、格式内容清洗、逻辑错误清洗、非需求数据清洗、关联性验证等处理操作，转换成可用的数据。具体要做的工作可以参考文章：数据清洗的一些梳理 当了 ...

数据清洗是数据分析过程中一个非常重要的环节，数据清洗的结果直接关系到模型效果和最终结论。在实际中，数据清洗通常会占数据分析整个过程的50%-80%的时间。下面介绍以下数据清洗主要的步骤和任务。 1.数据预处理阶段 该阶段的主要任务是将数据导入数据库中，然后查看数据：对数据有个基本的了解 ...

前言 1. 删除重复 2. 异常值监测 3. 替换 4. 数据映射 5. 数值变量类型化 6. 创建哑变量 统计师的Python日记【第7天：数据清洗（1）】 前言 根据我的Python学习计划： Numpy → Pandas ...