未解决 同步mysql数据到es,adapter同步记录巨慢
-
deployer运行日志正常,adapter日志也都正常,只是adapter命令行窗口提示同步记录很久才出一条。canal用的是tcp模式,没有用kafka、rocketmq。
我们库表有几十个,但需要同步到es的不多10个左右,adapter配置了过滤我们需要的表。我怀疑是不是因为业务产生的数据库记录多,canal在收到大量binlog后分析出来是不需要同步进es的就扔掉,偶尔收到一条需要同步进es的binlog,才导致的看起来adapter命令行窗口同步记录慢?
-
有上 promethus 监控么?canal server 的监控指标还是能看出写名堂来的。
-
如果日志和功能都正常说明在正常工作。是否为性能问题不是看adapter命令行窗口,而是看端到端本身同步有没有延迟。你可以看看数据库的变更多久可以在ES搜索到
Copyright © 2020 ClouGence, Inc.备案号:浙ICP备20007605号-2