singer 是一个很不错的开源etl 解决方案，以下演示一个简单的数据从pg 同步到pg 很简单就是使用tap-postgres + target-postgres 环境准备 对于测试的环境的数据库使用docker-compose 运行 ...

　　　　　　　　　　　　　　　　　　　　　　　　mysql数据实时同步到Elasticsearch业务需要把mysql的数据实时同步到ES，实现低延迟的检索到ES中的数据或者进行其它数据分析处理。本文给出以同步mysql binlog的方式实时同步数据到ES的思路, 实践并验证该方式的可行性，以供 ...

  mysql 作为成熟稳定的数据持久化解决方案，广泛地应用在各种领域，但是在数据分析、全文检索方面稍有不足，而 elasticsearch 作为数据分析领域的佼佼者，刚好可以弥补这项不足，而我们要做的只需要将 mysql 中的数据同步到 elasticsearch 中即可，今天介绍使用 ...

前言 　　Postgresql支持“逻辑”和“物理”两种复制方式，逻辑复制是一种基于数据对象的复制标识（通常是主键）复制数据对象及其修改的方法，而后者使用准确的块地址以及逐字节的复制方式（WAL日志），逻辑复制允许数据复制和安全性上更细粒度的控制（可以对特定表进行复制）。逻辑复制采用发布者 ...

迁移环境如下，对应版本dmhs软件需要向商务申请 源端操作系统 ...

一、前言 因公司需要选用elasticsearch做全文检索，持久化存储选用的是mongodb，但是希望mongodb里面的数据发生改变可以实时同步到elasticsearch上，一开始主要使用elasticsearch v1.7.2的版本，mongo-river可以搞定这个问题 ...

一、Canal架包下载上传 （一）下载 官网架包地址为：https://github.com/alibaba/canal/releases/tag/canal-1.1.5-alpha-2 ...

1. Postgres 资料参考： pg操作手册：http://www.ruanyifeng.com/blog/2013/12/getting_started_with_postgresql.html psql命令 :https://ywnz.com/linux/psql/ 2. ...