已解决 HA集群方式部署会重复解析binlog同步KAFKA

[six]

HA集群方式部署会重复解析binlog同步KAFKA

一个zk集群
三个instance服务

更新一条数据会在kafka出现重复的3条update数据

[six]

需要在公共配置中加入zk集群地址配置，如：

canal.zkServers = 127.0.0.1:2181,127.0.0.2:2181,127.0.0.3:2181

[CloudCanal-万少]

@six 你这样相当于三个instance都订阅了同个binlog，产生三份一样的数据符合预期。可以看下这篇文章，了解下如何部署HA的canal集群。 https://www.askcug.com/topic/43/canal-v1-1-4版本搭建ha集群

[six]

3台server配置canal_local.properties都是一样的：

register ip

canal.register.ip =

canal admin config

canal.admin.manager = 10.0.2.223:8089
canal.admin.port = 11110
canal.admin.user = admin
canal.admin.passwd = 4ACFE3202A5FF5CF467898FC58AAB1D615029441

admin auto register

canal.admin.register.auto = true
canal.admin.register.cluster =

[six]

1、重复的数据是来自同一条数据binlog变动，一条binlog变动会同时触发3个一模一样的数据到kafka
2、没有进行分区处理，都是写到0分区
3、规律同第一点描述

[CloudCanal-万少]

能不能发提供下相关的日志信息，观察下：

1. 重复的数据有什么统一的特征，重复的数据出现的时间点是怎样的
2. 写入kafka采用什么维度来进行分区
3. 根据重复数据在日志出现的规律，线下可以尝试造一些数据来模拟