Kettle各个控件要点 (v5.30) 【转】

http://blog.csdn.net/calmreason/article/details/47613445

Kettle控件的特点：Kettle的控件分类比较细致，功能相对单一也很具体。使用起来很容易掌握。 Kettle一般处理方法：正式由于Kettle控件的细化特点，所以往往需要组合起来使用。组合使用只是从点的角度看问题，还有就是从线的角度看问题。比如，目标表中的各个列其值可能由其他列的值计算得到，这就涉及到列的计算次序。合理选择计算次序，可以降低计算复杂度和可读性。

修改kettle文件：修改之后要保存才能生效。

变量与参数：

1 位置参数：【argument】用?的第几次出现表示第几个参数 2 命名参数：【parameter】用名字取参数值，命令行的时候是 P = value 3 变量：

设置JVM内存大小

http://itroadmap.sinaapp.com/2014/12/10/kettle5-2-0-java-lang-outofmemoryerror-%E8%A7%A3%E5%86%B3%E6%96%B9%E6%B3%95/

变量控件

3.1.1设置变量：把一个字段的值设置成变量，一个变量只能保存一行值！所以将值设置给变量的时候要注意结果集只能有一个元素。设置的变量可以被转换中的其他控件使用，而不必加入其他控件所在的流。 3.1.2 获取变量：把一个变量的值设置成字段 3.1.3 哪些控件可以使用变量？凡是控件的属性输入最后是的都可以使用变量。

输入

表输入

表输入： （1）从数据库中读取记录，最终保存一个select语句； （2）多个转换或者操作同时读取一个表的情况应该尽量避免，否则可能会因为锁操作而影响工作。 （3）从其他ktr文件拷贝而来的表输入，最好重新配置数据库连接。 2.0.1 SQL Server数据库连接配置 2.0.2 MySQL数据库连接配置 2.0.3 如果where条件中使用了变量，则可以使用变量引用方式：

SELECT * FROM ${TABLENAMES}

同时勾选：

2.1Excel输入：从excel文件中读取数据。 注意： （1）这里最好是xls文件！因为实验了xlsx文件出现了读取不到列名的问题。 （2）先选择【浏览】，再点击【增加】才会使用xls文件！如下图

输出

表输出

表输出：将流中的数据写入到数据库指定表中；不会自动创建表

Excel输出

  新版本的kettle支持Excel2007及以后颁布，这样导出行数就可以大大超过65535行，下面这个是老版本的Excel输出，建议不要使用 设置一下使用新版本的excel 导出字段的格式设置： 默认情况下，excel输出控件会猜测数据类型，但有时候具体格式需要设置，比如取整：# 比如日期Date类型的格式化输出：yyyy/mm/dd hh:mm:ss 如果使用：y表示年，m表示月，d表示日， h表示时，m表示分，s表示秒，出现的个数表示显示的位数。 按照行数分割文件：

4 插入更新

插入更新：比表输出更好用的一个控件，可以指定目标表的指定字段相等的时候更新， 否则直接插入，还可以选择更新的时候更新哪些字段。 如果要实现插入，则需要把相等字段添加到下放的【更新字段】中，这样源表有数据，目标表没有数据的时候就会执行插入。

5空操作

空操作： a）通常用于判断分支的一支，还用于操作易于理解 b）用于合并数据，多个来源，自然顺序合并，不能保证顺序。要求多个来源要满足：列数相同、列名相同、列类型相同。 c）用于输出流到多个目的地，这种情况下的默认操作（【分发】轮流输出数据到多个目的地，每个目的地得到的是流的子集）往往不是你想要的，所以要注意，因为你一般会使用【复制】，使用【复制】会使得每个目的地里的内容都是全集。 d）便于开发阶段预览数据 5.1 追加流：以先后顺序将两个流的数据合并。要求多个来源要满足：列数相同、列名相同、列类型相同。

6 JavaScript代码

JavaScript代码： （1）长用来创建JavaScript变量，计算之前流中的数据，保存为新的流，供下游使用，变量自动变成上游数据的新追加列。和【设置变量】控件不同，【设置变量控件】只提供一个唯一的值。 （2）你几乎总是要打开兼容模式，这样可以帮助你写JavaScript代码 （3）JavaScript几乎总是用var定义新的变量，如果要将创建的VAR变量计算并输出到流中，需要手动指定你的这个变量要输出到流：【获取变量】 字符串提取子串：http://blog.csdn.net/calmreason/article/details/48649257 字符串转换为整数：http://www.w3school.com.cn/jsref/jsref_parseInt.asp

字符串替换：http://blog.csdn.net/chenwei160803/article/details/7000225

 岗级.setValue(岗级.getString().replace("（专业）","副"));

数字格式化输出为字符串（参考）：http://blog.csdn.net/superch0054/article/details/3789458 JavaScript源代码：

//Script here
var format = function (number, form) { var forms = form.split('.'); var number = '' + number; var numbers = number.split('.'); var leftnumber = numbers[0].split(''); var exec = function (lastMatch) { if (lastMatch == '0' || lastMatch == '#') { if (leftnumber.length) { return leftnumber.pop(); } else if (lastMatch == '0') { return lastMatch; } else { return ''; } } else { return lastMatch; } } var string = null; string = forms[0].split('').reverse().join('').replace(/./g, exec).split('').reverse().join(''); string = leftnumber.join('') + string; if (forms[1] && forms[1].length) { leftnumber = (numbers[1] && numbers[1].length) ? numbers[1].split('').reverse() : []; string += '.' + forms[1].replace(/./g, exec); } return string.replace("//.$/", ''); }; var no = 'ryxx' + format(MAX_NO_SEC.getInteger(), '000000'); 

如下使用的时候

会生成如下效果：

7流查询

流查询：提供左连接追加字段的功能，其中右侧被左连接的表通过指定主键与坐标主键相等来连接，另外指定右表中哪些列要被追加到左表

8增加常量

<img%2vp�c="http: img.blog.csdn.net="" 20150813152717862?="" Ԓ�="" altew73d?这%2#��%hs�o786�%2Ӫ��eȅ�g���o�8��%�q="" �8�\c��y1��gs�?�ul��f)�#^:�$}q�Έ:bb�(2%r��o="" ;��@="" ,b�}�ؿ�a�l�f�}0��d�n?a��|����g:�e‚��thŋ*wcj�}$��sfc?�$4%?^���$q�uÛ����5a�u��r0�����y�,�g�p%�)�qg�="" �b6�}0�x�o�.a���@^�#�����k??֜t�?)�p��="" �c�?�����y�$�d��k���js��tb2u�="" �?���}⯺���?�$�����="" liw�e�="">����#F6 ˵� ��g�#���q�a�fo���z���m���=uC����QJ��m78`�)�_����^tF%?N�z~��N��O�u�L�8%ҼN`9����(a�:�g3R 5E6��%#��883��z ���h�r��5BF�%2 H%��7���%8�,55E5��充，�%�YwW�25B0�%2�q�\�5E5�%2�����}:��输入之后添加，在表输入之前不可以添加。http://blog.163.com/lfs9��{�jaigang@126%*�oDblog%��2Fstatic/77436670201403192817833/

9分组

分组：提供比SQL更方便快捷的group by功能，尤其是你分组之后，只想对其中一个求和，其他的只取其中一个的时候！

10排序记录

排序记录：对记录按照指定的列进行排序，通常是其他控件必须的前奏，排序可以指定多个列

11过滤记录

过滤记录：对一列或者多列同时使用BOOL条件，对条件判断为真的记录指定后续步骤，对条件判断为假的记录指定后续步骤。这个步骤通常和其他步骤结合使用，比如替换指定列为常量。

12将字段设为常量

将字段值设置为常量：可以将制定字段的值设置为固定值，通常是一些状态值的设置。

13发送邮件

发送邮件：可以从之前的流中获取流信息，设置好之后就可以发送邮件了。具体实例参考：kettle发送邮件

作业

定时任务的制作

http://blog.csdn.net/calmreason/article/details/49021993

复制记录到结果

复制记录到结果：将结果传递到下一个转换中去。这个控件有时候是必不可少的，尤其是多个【转换】或者【作业】搭建一个更大的任务的时候。 14.2从结果中获取记录：取上一个转换中的数据。 作业和转换： 1 执行每一个输入行

这个选项如果勾选了之后，前面的转换结果有几行这个当前的转换就会执行多少次。 注意：这个设置

转换

字段选择

主要作用（1）是重命名流里面的字段（2）阻止流中的字段进入下一个流程，如果要进入下一个流程要单独选择

主对象树

清空Kettle缓存

清空缓存的好处就是你之前连接了一个【表输出】，但是现在修%2�E6%9s��Xʞ�׹�R�4BA��%2_Q��t�?,z]f��dK-��G����-]2S[yj�����PFh������O�B�q~�e�GpOf�[%��ok��"�mWFo �ś�q9"��16~��[w:��s�����~��B/  A�A�G?F�����G��KB��h!Ş�ɛ��/bq�s�1����k��u3�b}
)lݏ@�����1T�m1U F�b�f�GL�m���’�”?F?��t.0���z���S{�ɄP5AD��%A�c$l�Gf�ݙ���� U�’�x���R�Ʌ9�*v�, �M,�!���y�{��2�$�xd���"��'64�%�*�"��"A5A1%W�Z��%�es�B/ ։s� ��Wo���*h���i�GL1Y�mW� �b�^����t�NI���#��<,�E