数据同步方案canal初探

简介

canal [kə’næl]，译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。

基于日志增量订阅和消费的业务包括

数据库镜像数据库实时备份索引构建和实时维护(拆分异构索引、倒排索引等)业务 cache 刷新带业务逻辑的增量数据处理

当前的 canal 支持源端 MySQL 版本包括 5.1.x , 5.5.x , 5.6.x , 5.7.x , 8.0.x

工作原理

MySQL master 将数据变更写入二进制日志( binary log, 其中记录叫做二进制日志事件binary log events，可以通过 show binlog events 进行查看)MySQL slave 将 master 的 binary log events 拷贝到它的中继日志(relay log)MySQL slave 重放 relay log 中事件，将数据变更反映它自己的数据

canal 工作原理

canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )canal 解析 binary log 对象(原始为 byte 流)

配置Mysql服务器

show variables like ‘log_bin’; 没有开启log_bin的值是OFF,开启之后是ON

配置mysql的binlog文件主从同步 my.ini/my.cnf文件中配置

log-bin=mysql-bin #添加这一行就ok binlog-format=ROW #选择row模式 server_id=1 #配置mysql replaction需要定义，不能和canal的slaveId重复

配置该文件后，重启mysql服务器即可

添加canal的mysql账号 或者直接使用root账号 手动创建cannl账号或者直接使用root账号 drop user ‘canal’@’%’; CREATE USER ‘canal’@’%’ IDENTIFIED BY ‘canal’; grant all privileges on . to ‘canal’@’%’ identified by ‘canal’; flush privileges;

下载canal服务

https://github.com/alibaba/canal/releases

配置启动canal服务

修改 \conf\example下的instance.properties 配置文件内容 配置数据库连接信息 canal.instance.master.address=127.0.0.1:3306 canal.instance.dbUsername=root canal.instance.dbPassword=root

注意：如果使用的是阿里云的RDS数据库 需要配置以下信息

#rds oss binlog canal.instance.rds.accesskey=2zA12sL23cX230pS aliyun账号的ak信息 canal.instance.rds.secretkey=iEl12120i341jv326ud23reULeIOSG aliyun账号的sk信息 canal.instance.rds.instanceId=rm-bp1u38330lqe7989f aliyun rds对应的实例id信息 启动canal服务 bin/startup.sh查看启动日志信息 logs/canal/canal.log日志文件 logs/example/example.log日志文件

canal客户端连接canal服务模式

canal配置文件 conf/canal.properties中有三种模式 ``` # tcp, kafka, RocketMQ canal.serverMode = tcp 默认为tcp直连模式 ```

canal客户端三种连接服务器模式

TCP直连模式链接 https://blog.csdn.net/weixin_43860002/article/details/108385648

kafka异步模式链接 https://blog.csdn.net/weixin_43860002/article/details/108386271

RocketMQ异步模式链接 https://blog.csdn.net/weixin_43860002/article/details/108386830