1、转换是转换里面的第四个分类。转换属于ETL的T,T就是Transform清洗、转换。ETL三个部分中,T花费时间最长,是一般情况下这部分工作量是整个ETL的2/3。 2、Concat fields,就是多个字段连接起来形成一个新的字段。 3、 值映射,就是把字段的一个值映射成其他的值。在数 ...
:列转行 :列转行 :去除重复记录 步骤名称:保持唯一性 增加计数器到输出 :当勾选了此项,并在计数器字段后给予了名称,则将会在该字段下显示去掉的重复行数。 字段名称:用来去重的字段,可选多个字段,表示多个字段都相同时表示重复。 该功能类似与sql中的distinct关键字。 :增加序列 一个序列是在某个起始值和增量的基础之上,经常改变的整数值。可以使用数据库定义好的序列,也可以使用kettle ...
2018-12-07 18:26 0 749 推荐指数:
1、转换是转换里面的第四个分类。转换属于ETL的T,T就是Transform清洗、转换。ETL三个部分中,T花费时间最长,是一般情况下这部分工作量是整个ETL的2/3。 2、Concat fields,就是多个字段连接起来形成一个新的字段。 3、 值映射,就是把字段的一个值映射成其他的值。在数 ...
Kettle版本:3.2GAJDK版本:1.6.0_41OS:NT由于组件涉及非常多,我这就只举例几个常用的组件来进行介绍。需要了解全部组件下载Kettle用户手册下载 本弹给大家详细说明的组件:表输入、获取系统信息、表输出、字符选择、过滤记录、执行SQL语句、设置变量、获取变量 表输入 ...
前言Kettle控件分为三种:转换控件、作业控件和Hop(跳)。转换控件输入控件表输入 表输入控件是从数据库的表中读取数据的控件。我们可以在表中输入SQL语句(或者通过获取SQL查询语句获取)。比如我们通过获取SQL查询语句获取到SQL语句,我们可以预览这个转换。 预览结果如 ...
1、kettle里面的输入,就是用来抽取数据或生成数据,是ETL操作的E。 2、CSV文件是一种带有固定格式的文本文件。注意:获取字段的时候可以调整自己的字段类型,格式,满足自己的需求哦。 3、文本文件输入,提取日志信息的数据是开发常见的操作,日志信息基本都是文本类型。 首先要获取到要抽取 ...
1、输出是转换里面的第二个分类。输出属于ETL的L,L就是Load加载。微软的Excel目前有两种后缀名的文件分别为:xls和xlsx。xls:2007年之前。xlsx:2007年之后。 Excel输出、Microsoft Excel输出的区别,Excel输出只能xls后缀名称的文件 ...
。 空操作组件具有合并记录的作用。 2:过滤记录 该步骤通过条件和比较 ...
分组: 步骤名称:在单一转换中名称唯一。 分组字段:指定分组的字段。 聚合:指定需要聚合的字段,方法以及新字段结果的名称。 包含所有的行:如果选择该项,输出中就包含所有的行,不仅仅是聚合。 临时文件目录:临时文件存储的目录。 临时文件前缀:指定命名临时文件时的文件前缀 ...
1:合并记录 该步骤用于将两个不同来源的数据合并,这两个来源的数据分别为旧数据和新数据,该步骤将旧数据和新数据按照指定的关键字匹配, 比较,合并。 需要设置的参数: ...