原文:kettle的作业和参数组件

大多数ETL项目都需要完成各种各样的维护工作。例如,如何传送文件 验证数据库表是否存在,等等。而这些操作都是按照一定顺序完成。 . 因为转换以并行方式执行,就需要一个可以串行执行的作业来处理这些操作。一个作业包含一个或者多个作业项,这些作业项以某种顺序来执行。作业执行顺序由作业项之间的跳 Job hop 和每个作业项的执行结果来决定。 . 作业项是作业的基本构成部分。如同转换的步骤,作业项也可以 ...

2020-02-18 22:40 0 2015 推荐指数:

查看详情

使用Kettle的命名参数动态执行作业

关于如何根据传入的不同参数,达到动态运行作业的目的,这里不介绍。只提供一个思路,就是不同的调度进程调度同一个Kettle文件时,传入了不同的参数,从而得到不同的数据。 如下图所示: 1. 先设置参数名称,双击Kettle空白处,选择Parameters 选项卡 2. 输入一个参数 ...

Fri Jun 07 06:24:00 CST 2019 0 1615
java调用kettle7传递参数并执行作业

作业与转换 作业中添加转换1和转换2 转换1中需添加 获取系统信息 步骤,获取需要的参数,表输入中需勾选替换SQL语句中的变量。内容如下图所示(转换2同转换1): 测试时可以采用以下方法: ...

Wed Apr 07 19:16:00 CST 2021 0 283
kettle - Linux下定时执行kettle作业

由于第一次碰linux,对其不是很了解,导致这个问题困扰了我近一个月的时间,现在终于解决了,分享给大家。 首先,安装jre,配置java环境变量 (一) 下载jre-6u23-linux ...

Thu Sep 03 23:29:00 CST 2020 0 627
kettle - Linux下定时执行kettle作业

Linux下实现kettle 自动同步数据 1.安装jdk tar -zxvf jdk-7u25-linux-x64.tar.gz -C /usr/share 2.配置java环境 vim /etc/profile 在末尾添加如下 export JAVA_HOME=/usr/share ...

Tue Apr 18 04:31:00 CST 2017 0 6904
Kettle — 常用组件使用

前言Kettle控件分为三种:转换控件、作业控件和Hop(跳)。转换控件输入控件表输入 表输入控件是从数据库的表中读取数据的控件。我们可以在表中输入SQL语句(或者通过获取SQL查询语句获取)。比如我们通过获取SQL查询语句获取到SQL语句,我们可以预览这个转换。 预览结果如 ...

Fri May 08 02:03:00 CST 2020 0 1971
kettle的输入组件

1、kettle里面的输入,就是用来抽取数据或生成数据,是ETL操作的E。 2、CSV文件是一种带有固定格式的文本文件。注意:获取字段的时候可以调整自己的字段类型,格式,满足自己的需求哦。 3、文本文件输入,提取日志信息的数据是开发常见的操作,日志信息基本都是文本类型。 首先要获取到要抽取 ...

Wed Feb 12 20:34:00 CST 2020 0 1126
kettle的输出组件

1、输出是转换里面的第二个分类。输出属于ETL的L,L就是Load加载。微软的Excel目前有两种后缀名的文件分别为:xls和xlsx。xls:2007年之前。xlsx:2007年之后。   Exc ...

Sat Feb 15 20:16:00 CST 2020 0 1127
kettle组件-转换

1:列转行 2:列转行 3:去除重复记录 步骤名称:保持唯一性 增加计数器到输出?:当勾选了此项,并在计数器字段后给予了名称,则将会在该字段下显示去掉的重复行数。 ...

Sat Dec 08 02:26:00 CST 2018 0 749
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM