Navigation

    数据用户治理组

    • Register
    • Login
    • Search
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Groups

    UNSOLVED 同步mysql数据到es,adapter同步记录巨慢

    问答区
    mysql-to-es
    3
    3
    1652
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • dudu
      dudu last edited by CloudCanal-万少

      deployer运行日志正常,adapter日志也都正常,只是adapter命令行窗口提示同步记录很久才出一条。canal用的是tcp模式,没有用kafka、rocketmq。

      我们库表有几十个,但需要同步到es的不多10个左右,adapter配置了过滤我们需要的表。我怀疑是不是因为业务产生的数据库记录多,canal在收到大量binlog后分析出来是不需要同步进es的就扔掉,偶尔收到一条需要同步进es的binlog,才导致的看起来adapter命令行窗口同步记录慢?

      1 Reply Last reply Reply Quote 0
      • junyu-cloudcanal
        junyu-cloudcanal last edited by

        有上 promethus 监控么?canal server 的监控指标还是能看出写名堂来的。

        1 Reply Last reply Reply Quote 0
        • CloudCanal-万少
          CloudCanal-万少 last edited by

          如果日志和功能都正常说明在正常工作。是否为性能问题不是看adapter命令行窗口,而是看端到端本身同步有没有延迟。你可以看看数据库的变更多久可以在ES搜索到

          1 Reply Last reply Reply Quote 0
          • 1 / 1
          • First post
            Last post
          Copyright © 2020 ClouGence, Inc.备案号:浙ICP备20007605号-2