六种 主流ETL 工具的比较(DataPipeline，Kettle，Talend，Informatica，Datax ，Oracle Goldengate) ...

1、 早期关系型数据库之间的数据同步 1）、全量同步 比如从oracle数据库中同步一张表的数据到Mysql中，通常的做法就是 分页查询源端的表，然后通过 jdbc的batch 方式插入 ...

一、需求 由于公司各个部门对业务数据的需求，比如进行数据分析、报表展示等等，且公司没有相应的系统、数据仓库满足这些需求，最原始的办法就是把数据提取出来生成excel表发给各个部门， ...

背景： 随着数据量的上升，OLAP一直是被讨论的话题，虽然druid，kylin能够解决OLAP问题，但是druid，kylin也是需要和hadoop全家桶一起用的，异常的笨重，再说我也搞不定，那只 ...

　　　　　　　　　　　　　　　　　　　　　　　　mysql数据实时同步到Elasticsearch业务需要把mysql的数据实时同步到ES，实现低延迟的检索到ES中的数据或者进行其它数据分析处理。本文 ...

最近在做一个需求，当用户放大地图到某个级别时，自动显示marker的callout标签，当小于这个缩放级别时，则隐藏callout。然而在我实现的过程中，却发现一个严重的问题：当我操作marker数据 ...

接上回：python 调度 datax的json配置文件。 用datax_web 原因：后续有各个项目需要用到datax抽数据，配置json浪费时间，用python脚本去调度也麻烦，datax_we ...

作者：DataPipeline数见科技CTO 陈肃 导读：传统ETL方案让企业难以承受数据集成之重，基于Kafka Connect构建的新型实时数据集成平台被寄予厚望。 在4月21日的 ...

导读 本文档演示如何建立一个物理备用数据库，以下描述了备用数据库最大性能模式的具体配置步骤，这是默认的数据保护模式。此文档主要演示： 使用DUPLICATE FROM ACTIVE ...

通过DataX同步数据至Elasticsearch 使用总结 Long值导入时精度丢失，字段类型使用text ...