Canal学习笔记(客户端)


前言

最近公司用到Canal来做从MySQL到Tidb的数据同步,用到HA模式Canal,记录一下HA模式的工作原理。

Canal的架构模式

Canal是利用binlog日志来做数据同步,canal伪装成从节点主节点dump binlog日志,所以canal分为server和client,server负责dump binlog日志,client负责处理binlog日志(比如入库)。

 Canal客户端HA模式运行原理

Canal的HA模式是需要zk来保证,zk用来保存canal客户端的一些元数据,例如服务端节点信息(\otter\canal\cluster )、运行的服务节点信息(\otter\canal\destinations\{自定义分区}\running)、客户端节点信息(\otter\canal\destinations\{自定义分区}\cluster)、客户端拦截器配置信息(\otter\canal\destinations\{自定义分区}\1001\filter)、客户端binlog同步节点信息(\otter\canal\destinations\{自定义分区}\1001\cursor)、运行的客户端信息(\otter\canal\destinations\{自定义分区}\1001\running)

HA模式Canal客户端启动时,首先链接zk,在zk上注册客户端节点(\otter\canal\destinations\{自定义分区}\1001\running)服务,当没有客户端注册时则注册成功,已有客户端注册时则当前客户端进入静默状态(线程挂起),然后监听前一个客户端在zk注册节点变化,当前一个客户端退出(在zk上的注册节点信息发生变化)则通知所有静默状态的服务端进行zk服务注册,当有一个客户端注册成功时其他客户端则再此进入静默状态并且进行zk注册节点监听。

当客户端再zk上成功注册服务时,其他客户端会再次进入静默状态,进入静默状态核心思想是使用JUC下的AQS,详细如下:

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM