原文:基于现在接触的ETL工具(datax和kettle)做个小总结

现阶段需要做数据库同步工作,目前调研了两个工具datax和kettle 目前虽然环境使用的是kettle jenkins调度平台方案,但是多多少少会有一些不太令人满意的地方,但应该算是满足大部分需求了,先暂时这样实现 这两者各有优缺点,基本的就不总结了。现在说说一些关键点: 基本方面: .datax适合做数据同步工作 kettle适合数据清洗,转换工作 目前成型的可视化界面,datax推荐data ...

2020-07-01 11:40 0 10923 推荐指数:

查看详情

ETL工具——DataX,FlinkX

链接:https://pan.baidu.com/s/1yF5B3gepf_TFboiht2O-3g 提取码:lycc 一、DataX DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台,实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS ...

Wed Dec 08 06:20:00 CST 2021 2 2581
开源Datax、Sqoop、KettleETL工具作业自动化实现-分享

1、阿里开源软件:DataX DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。(摘自百科) 2、Apache开源软件:Sqoop ...

Thu Aug 17 18:05:00 CST 2017 0 4816
ETL工具kettle基本使用

/pdi-ce-7.0.0.0-25.zip/download 说明:kettle 是pentaho收购的一个etl工具, ...

Thu Oct 12 05:18:00 CST 2017 0 3593
etl工具kettle实现循环

Kettle是一款国外开源的ETL工具,纯Java编写,可以在Window、Linux、Unix上运行,绿色无需安装,数据抽取高效稳定。 业务模型: 在关系型数据库中有张很大的数据存储表,被设计成奇偶库存储,每个库100张一模一样的表,每张表存储1000W,自动切换到下一个表。现 ...

Fri Apr 21 01:41:00 CST 2017 0 10772
ETL工具-Kettle Spoon教程

一 。Kettle Spoon简介 ETL(Extract-Transform-Load的缩写,即数据抽取、转换、装载的过程),对于企业或行业应用来说,我们经常会遇到各种数据的处理,转换,迁移,了解并掌握一种etl工具的使用,必不可少,支持图形化的GUI设计界面,然后可以以工作流的形式 ...

Thu Oct 29 23:30:00 CST 2020 0 790
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM