文章转载自： https://mp.weixin.qq.com/s?__biz=MzI2NDY1MTA3OQ==&mid=2247484377&idx=1&sn=199bc88 ...

一、背景介绍 最近在做一个地理信息相关的项目，需要维护大量的地址描述数据，同时需要提供对数据检索的功能，准备采用Elasticsearch（6.7）实现。那么问题就来了，地址数据需要同时在MySQL和ES中维护，如果通过代码层面实现会增加代码量也不易维护，权衡之下决定使用阿里的Canal ...

前言 本篇只介绍 TCP模式 下详细的canal相关配置。 高可用 请参考文章：【Canal——高可用架构设计与应用】 Kafka模式 请参考文章：【Canal——canal server 读取 binlog 到 kafka 然后在使用 canal ...

一、Canal架包下载上传 （一）下载 官网架包地址为：https://github.com/alibaba/canal/releases/tag/canal-1.1.5-alpha-2 本人百度云盘下载地址： 链接：https://pan.baidu.com/s ...

本文介绍如何使用canal增量同步mysql数据库信息到ElasticSearch。（注意：是增量！！！） 1.简介 1.1 canal介绍 Canal是一个基于MySQL二进制日志的高性能数据同步系统。Canal广泛用于阿里巴巴集团（包括https ...

前提 近段时间，业务系统架构基本完备，数据层面的建设比较薄弱，因为笔者目前工作重心在于搭建一个小型的数据平台。优先级比较高的一个任务就是需要近实时同步业务系统的数据（包括保存、更新或者软删除）到一个另一个数据源，持久化之前需要清洗数据并且构建一个相对合理的便于后续业务数据统计、标签系统构建等扩展 ...

1、准备一台虚拟机 1.1 配置静态ip 可以参考 https://www.cnblogs.com/braveym/p/9096402.html 1.2给hadoop用户赋予root权限 ...

1、mysql配置 1、编辑mysql配置文件 docker exec -it mysql5.7 /bin/bash #mysql5.7为容器名称 cd etc vi my.cnf 新增如下配置： log-bin=mysql-bin #添加这一 ...