你们hbase有开启鉴权的话能否贴下现在已经给哪些用户授权了？用已经授权的用户来启动canal进行数据访问~

可以参考下博客区的文章《Canalv1.1.4版本搭建HA集群
》 看了之后还有问题可以直接再回复哈~

这个问题本质是序列化方式的选择:

json: 优点主要是使用简单，可读性好。json处理起来也非常容易 二进制：二进制传输取决于你具体用什么序列化框架了，不同的二进制序列化方式有不同的优缺点。但是总体上相比json，二进制的序列化方式一般会在性能、数据大小方面(数据小，紧凑可以减少网络I/O开销)相比json有更好的表现。这块内容感兴趣的话可以参考以下网上的文章。例如美团分享的一个博客《序列化和反序列化》

因为你的上下文描述不够详细，我假设你源端字段是个varchar类型，你将数组内容存储到源端数据库后默认按照逗号分隔。

这样可以考虑在从kafka接受消息之后，自己实现一个方法，将收到的字符串内容，按照分隔符进行拆分，生成一个数组对象，然后直接写入ES。es的字段本来就支持接收数组的写入，这个可以参考es官方文档：[Arrays]
(https://www.elastic.co/guide/en/elasticsearch/reference/current/array.html)
1dd02f7a-838d-45e4-9460-38c813ebd445-image.png

@yuanweikang2020 可能你碰到的例子和我不太一样。我这边大部分DDL同步是正常的，但是有时候有多条ddl一起执行后，在table meta处理的时候druid parser针对同一个table会做meta信息合并，我当时debug到我贴的这段代码这边，发现根据table取出来meta信息中列信息是错误的，是druid parser存储table meta的时候，针对单个表多条ddl变更时，最后记录的合并后的表结构有误。

报错原因1：kafka的配置文件config/server.properties中listeners=PLAINTEXT://your.host.name:9092以及advertise.listeners=PLAINTEXT://your.host.name:9092没有配置，导致canal无法与kafka进行socket通信。
解决方案：补充上述两项配置，重启kafka即可。

报错原因2：canal的配置文件conf/canal.properties中kafka.bootstrap.servers = x.x.x.x:9092没有把所有的kafka节点配上。报错是因为只配了一台kafka节点，而我是以集群模式启动了三个kafka节点。
解决方案：修改conf/canal.properties中为kafka.bootstrap.servers = x.x.x.1:9092,x.x.x.2:9092,x.x.x.3:9092，重启canal即可。

这个canal可以控制的，你可以通过调整batch size等手段来调节发送的频率的。另外es如果消费不过来，建议也有先评估下这种情况是否合理。

已经私聊做过一些沟通，根据用户反馈的日志信息，怀疑是rabbitmq server重启导致，日志时间匹配。rabbitmq client有个配置AutomaticRecoveryEnabled可以设置下，断连可以自动恢复连接的

你使用的jdk版本能给下吗？还有能否查看下你机器的可用内存情况。这个一般是剩余内存不足导致分配失败，可以适当减少下下startup.sh启动脚本中jvm分配的堆大小。
fbfbdd9f-7c2f-4510-b123-3898024c48a0-image.png

您好，是可以同步DDL的。可以看下canal.properties中的配置

canal.instance.filter.query.ddl

官方文档关于配置的说明可以参考：https://github.com/alibaba/canal/wiki/AdminGuide

这个报错是你消息体过大了，可以尝试下如下的方式：

修改 canal/conf/canal.properties配置，调整更大的值 canal.mq.maxRequestSize = 10485760 修改kafka/config/producer.properties ，调整更大的值 max.request.size=12695150 修改kafka/config/server.properties ，调整更大的值 message.max.bytes=12695150 重启服务

其实otter工程已经自带了这两个jar，如下图所示
0577ff93-797d-4d5a-96b9-c4d679148022-image.png

如果你是本地打包报错，可以先装下这两个jar到你的本地仓库：

### 进入otter/lib目录 然后执行以下maven命令 mvn install:install-file -Dfile=jtester-1.1.8.jar -DgroupId=org.jtester -DartifactId=jtester -Dversion=1.1.8 -Dpackaging=jar mvn install:install-file -Dfile=ojdbc6.jar -DgroupId=com.oracle -DartifactId=ojdbc6 -Dversion=11.1.0.7.0 -Dpackaging=jar

本地仓库有这两个包之后，再打包就不会报错了，还有问题可以提问。

已解决，多谢。
报错：let: not found
在ubuntu默认是指向bin/dash解释器的,dash是阉割版的bash,其功能远没有bash强大和丰富.并且dash不支持let和i++等功能.

解决办法:
sudo dpkg-reconfigure dash   选择 “否”, 表示用bash代替dash

您好，canal运维控制台是支持集群化运维的。一般可以 按照如下操作：

创建集群
498575cf-c722-473e-9243-fda5910c1faa-image.png 添加server到刚才创建的集群
33eb747f-859f-4532-a1e9-81e87b4b1aeb-image.png

这里主要注意：一个集群的所有server会共享一份全局canal.properties配置

另外关于控制台的使用可以参考github的官方资料：https://github.com/alibaba/canal/wiki/Canal-Admin-Guide