Navigation

    • Register
    • Login
    • Search
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Groups
    1. Home
    2. Popular
    Log in to post
    • All categories
    • CloudCanal
    •      官方FAQ
    •      技术分享
    •      版本发布
    •      安装部署
    •      需求交流
    •      官方信息发布
    • CloudDM
    •      问答区
    • CloudDataway
    •      问答区
    •      技术文章分享
    • Canal
    •      问答区
    •      技术文章分享
    • All Topics
    • New Topics
    • Watched Topics
    • Unreplied Topics
    • All Time
    • Day
    • Week
    • Month
    • CloudCanal-万少

      CloudCanal社区版功能需求征集帖(旧,新的提到gitee)
      需求交流 • cloudcanal • • CloudCanal-万少

      49
      0
      Votes
      49
      Posts
      3254
      Views

      CloudCanal-万少

      @白衣先生 提到问答区吧后续,说明下你的意图,每太明白你的意思

    • CloudCanal-万少

      CloudCanal社区版docker版安装(Linux/MacOS)
      安装部署 • cloudcanal • • CloudCanal-万少

      14
      0
      Votes
      14
      Posts
      16748
      Views

      神经蛙 0

      下载最新的社区版安装包,启动的时候一直停留在这
      begin to startup an cloudcanal.

      precheck before startup…

      check_docker_is_installed…[ SUCCESS ],current docker version: Docker version 20.10.17, build 100c701

    • wx-ou3Ig6at7j8nWuOqsT1e8jgXhU0w

      SOLVED oracle数据源异常
      CloudCanal • oracle数据源异常 • • wx-ou3Ig6at7j8nWuOqsT1e8jgXhU0w

      13
      0
      Votes
      13
      Posts
      659
      Views

      zycgit

      @consumables 该问题已解决,请留意一下这个问题的相关历史回复。

      权限问题:https://www.askcug.com/topic/263

    • junyu-cloudcanal

      5分钟搞定 MySQL 到 ClickHouse 宽表构建和同步-CloudCanal实战
      技术分享 • clickhouse 宽表构建 • • junyu-cloudcanal

      11
      0
      Votes
      11
      Posts
      1649
      Views

      CloudCanal-万少

      @脱发的山顶洞人 任务订阅事实表,自定义代码里面使用你的sql查询维表的数据组装成宽表行即可。这里关键是维表数据更新后也要将数据同步到对端。这时候建议维表更新时触发事实表的更新(业务去做),这样自定义代码仍然会接收到事实表的变更,然后再去查询维表最新的信息,组装成新的宽表行。这样就达到你想要的效果了

    • CloudCanal-万少

      CloudCanal——免费的企业级数据同步工具,欢迎下载
      官方信息发布 • cloudcanal • • CloudCanal-万少

      11
      0
      Votes
      11
      Posts
      1139
      Views

      CloudCanal-万少

      @xlm 哈咯,添加文章底部的微信二维码就可以哈

    • CloudCanal-万少

      异地多活场与双向同步
      技术文章分享 • 双向同步 异地多活 • • CloudCanal-万少

      10
      0
      Votes
      10
      Posts
      770
      Views

      CloudCanal-万少

      @peison mysql主从有serverId可以识别来源的,也可以防回环,你可以搜相关资料查看下

    • CloudCanal-万少

      CloudCanal社区版docker版安装(Windows)
      安装部署 • cloudcanal • • CloudCanal-万少

      9
      0
      Votes
      9
      Posts
      2427
      Views

      CloudCanal-万少

      @landonzeng 有windows的教程的,版块下找下

    • 魑魅

      SOLVED canal-adapter启动报错 Config dir not found.
      问答区 • • 魑魅

      9
      0
      Votes
      9
      Posts
      454
      Views

      CloudCanal-万少

      @魑魅 目录叫做es6或者es7,es的yaml 扔到conf/es6/下

    • junyu-cloudcanal

      MySQL 到 Elasticsearch 实时同步构建数据检索服务的选型与思考
      技术分享 • 数据同步 elasticsearch • • junyu-cloudcanal

      9
      0
      Votes
      9
      Posts
      1820
      Views

      u

      @junyu-cloudcanal 在 MySQL 到 Elasticsearch 实时同步构建数据检索服务的选型与思考 中说:

      我们目前支持的分别订阅源端 主表和非主表,采用 upsert 语义到对端 es ,分别更新各自的字段(delete 就分别删)

      upsert这个现在有支持么,看demo里面没有体现呀,我们现在有两个一对一关联的表,如果支持upsert那可以避免反查,效率应该会很高。希望能详细介绍下这块儿的功能

    • D

      SOLVED 从mysql同步数据到clickhouse 表结构 comment 报错
      CloudCanal • clickhouse mysql • • duzhixin

      8
      0
      Votes
      8
      Posts
      459
      Views

      zycgit

      clickhouse 表结构 comment 只有最新版本 clickhouse 才支持,2022年3月时期 CloudCanal 版本并未对 clickhouse 做版本鉴别。

      目前最新版 CloudCanal 已解决 该问题,老版的 clickhouse 不会同步 comment。

    • 皛

      配置正则不生效(canal.instance.filter.regex=canal_dump\..*),Instance下meta.dat文件里的 filter为空
      问答区 • • 皛㿟

      8
      0
      Votes
      8
      Posts
      503
      Views

      皛

      @cloudcanal-万少 这边没有改代码,没有相关日志

    • junyu-cloudcanal

      5分钟搞定 MySQL 到 ClickHouse 实时数据同步进阶篇-CloudCanal实战
      技术分享 • clickhouse 数据同步 • • junyu-cloudcanal

      8
      0
      Votes
      8
      Posts
      1521
      Views

      junyu-cloudcanal

      @fanduzi 在 5分钟搞定 MySQL 到 ClickHouse 实时数据同步进阶篇-CloudCanal实战 中说:

      新

      对

    • QQ-D374837A041DB84FDDA102EBB3E1FEF2

      UNSOLVED ETL执行全量同步到es7报错
      问答区 • mysql-to-elasticsearch • • QQ-D374837A041DB84FDDA102EBB3E1FEF2

      8
      0
      Votes
      8
      Posts
      426
      Views

      QQ-D374837A041DB84FDDA102EBB3E1FEF2

      @cloudcanal-万少 我把用union all 拼接的其中一个sql 单独拿出来是可以同步的,但是放上那个拼接的 就不可以了 您这边有什么好的建议吗?

    • CloudCanal-万少

      [ReleaseNote] CloudCanal-1.0.2
      版本发布 • cloudcanal • • CloudCanal-万少

      7
      0
      Votes
      7
      Posts
      980
      Views

      junyu-cloudcanal

      @lockijiang 作为对端是的。

    • junyu-cloudcanal

      5分钟搞定 MySQL 到 ElasticSearch 宽表构建和同步-CloudCanal实战
      技术分享 • 宽表构建 • • junyu-cloudcanal

      7
      0
      Votes
      7
      Posts
      1789
      Views

      junyu-cloudcanal

      @arcueid 在 5分钟搞定 MySQL 到 ElasticSearch 宽表构建和同步-CloudCanal实战 中说:

      @junyu-cloudcanal 好的。谢谢!

      @arcueid 在 5分钟搞定 MySQL 到 ElasticSearch 宽表构建和同步-CloudCanal实战 中说:

      @junyu-cloudcanal 好的。谢谢!

      客气,有问题社区群或者帖子中交流。

    • 土

      UNSOLVED 部署canal集群的时候,报错
      问答区 • • 土鳖

      7
      0
      Votes
      7
      Posts
      216
      Views

      土

      @junyu-cloudcanal 大佬麻烦看下
      2021-03-10 10:05:41.922 [Thread-6] INFO com.alibaba.otter.canal.deployer.CanalStarter - ## stop the canal server
      2021-03-10 10:05:41.922 [Thread-7] INFO c.a.o.canal.connector.kafka.producer.CanalKafkaProducer - ## stop the kafka producer
      2021-03-10 10:05:41.927 [Thread-7] INFO c.a.o.canal.connector.kafka.producer.CanalKafkaProducer - ## kafka producer is down.
      2021-03-10 10:05:43.106 [Thread-6] INFO com.alibaba.otter.canal.deployer.CanalController - ## stop the canal server[172.16..(172.16..**):11111]
      2021-03-10 10:05:43.109 [Thread-6] INFO com.alibaba.otter.canal.deployer.CanalStarter - ## canal server is down.
      2021-03-10 10:10:42.901 [main] INFO com.alibaba.otter.canal.deployer.CanalLauncher - ## set default uncaught exception handler
      2021-03-10 10:10:42.947 [main] INFO com.alibaba.otter.canal.deployer.CanalLauncher - ## load canal configurations
      2021-03-10 10:10:43.404 [main] WARN org.apache.kafka.clients.producer.ProducerConfig - The configuration ‘kerberos.enable’ was supplied but isn’t a known config.
      2021-03-10 10:10:43.406 [main] WARN org.apache.kafka.clients.producer.ProducerConfig - The configuration ‘kerberos.krb5.file’ was supplied but isn’t a known config.
      2021-03-10 10:10:43.406 [main] WARN org.apache.kafka.clients.producer.ProducerConfig - The configuration ‘kerberos.jaas.file’ was supplied but isn’t a known config.
      2021-03-10 10:10:43.408 [main] INFO com.alibaba.otter.canal.deployer.CanalStarter - ## start the canal server.
      2021-03-10 10:10:43.505 [main-SendThread(jt-xw-test01:2181)] WARN org.apache.zookeeper.ClientCnxn - Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect
      java.lang.NoClassDefFoundError: org/apache/log4j/Logger
      at org.apache.zookeeper.Login.<init>(Login.java:44) ~[zookeeper-3.4.5.jar:3.4.5-1392090]
      at org.apache.zookeeper.client.ZooKeeperSaslClient.createSaslClient(ZooKeeperSaslClient.java:198) ~[zookeeper-3.4.5.jar:3.4.5-1392090]
      at org.apache.zookeeper.client.ZooKeeperSaslClient.<init>(ZooKeeperSaslClient.java:104) ~[zookeeper-3.4.5.jar:3.4.5-1392090]
      at org.apache.zookeeper.ClientCnxn$SendThread.startConnect(ClientCnxn.java:943) ~[zookeeper-3.4.5.jar:3.4.5-1392090]
      at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:993) ~[zookeeper-3.4.5.jar:3.4.5-1392090]
      Caused by: java.lang.ClassNotFoundException: org.apache.log4j.Logger
      at java.net.URLClassLoader.findClass(URLClassLoader.java:381) ~[na:1.8.0_141]
      at java.lang.ClassLoader.loadClass(ClassLoader.java:424) ~[na:1.8.0_141]
      at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:335) ~[na:1.8.0_141]
      at java.lang.ClassLoader.loadClass(ClassLoader.java:357) ~[na:1.8.0_141]
      … 5 common frames omitted
      2021-03-10 10:10:44.607 [main-SendThread(jt-xw-test01:2181)] WARN org.apache.zookeeper.ClientCnxn - Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect
      java.lang.NoClassDefFoundError: org/apache/log4j/Logger
      at org.apache.zookeeper.Login.<init>(Login.java:44) ~[zookeeper-3.4.5.jar:3.4.5-1392090]
      at org.apache.zookeeper.client.ZooKeeperSaslClient.createSaslClient(ZooKeeperSaslClient.java:198) ~[zookeeper-3.4.5.jar:3.4.5-1392090]
      at org.apache.zookeeper.client.ZooKeeperSaslClient.<init>(ZooKeeperSaslClient.java:104) ~[zookeeper-3.4.5.jar:3.4.5-1392090]
      at org.apache.zookeeper.ClientCnxn$SendThread.startConnect(ClientCnxn.java:943) ~[zookeeper-3.4.5.jar:3.4.5-1392090]
      at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:993) ~[zookeeper-3.4.5.jar:3.4.5-1392090]
      2021-03-10 10:10:45.708 [main-SendThread(jt-xw-test01:2181)] WARN org.apache.zookeeper.ClientCnxn - Session 0x0 for server null, unexpected error, closing socket connection and attempting reconnect
      java.lang.NoClassDefFoundError: org/apache/log4j/Logger
      at org.apache.zookeeper.Login.<init>(Login.java:44) ~[zookeeper-3.4.5.jar:3.4.5-1392090]
      at org.apache.zookeeper.client.ZooKeeperSaslClient.createSaslClient(ZooKeeperSaslClient.java:198) ~[zookeeper-3.4.5.jar:3.4.5-1392090]
      at org.apache.zookeeper.client.ZooKeeperSaslClient.<init>(ZooKeeperSaslClient.java:104) ~[zookeeper-3.4.5.jar:3.4.5-1392090]
      at org.apache.zookeeper.ClientCnxn$SendThread.startConnect(ClientCnxn.java:943) ~[zookeeper-3.4.5.jar:3.4.5-1392090]
      at org.apache.zookeeper.ClientCnxn$SendThread.run(ClientCnxn.java:993) ~[zookeeper-3.4.5.jar:3.4.5-1392090]

    • junyu-cloudcanal

      如何修改社区版默认验证码 777777 ?
      官方FAQ • 默认验证码 • • junyu-cloudcanal

      7
      1
      Votes
      7
      Posts
      437
      Views

      H

      现在这个值是console.config.product.trial=true 不能修改成数字了 可以解决吗

    • 楚天乐

      SOLVED canal 1.14连接数据库失败
      问答区 • • 楚天乐

      7
      0
      Votes
      7
      Posts
      197
      Views

      CloudCanal-万少

      @楚天乐 这里发起的请求是dump binlog,可以看看订阅的DB实例的本地binlog file是否正常。show binary logs, show master status都可以查看

    • 野人

      SOLVED 同步es,索引的字段是一个数组对象的情况,要怎么配置
      问答区 • mysql-to-es • • 野人

      7
      0
      Votes
      7
      Posts
      401
      Views

      CloudCanal-万少

      @野人 我看你另外开了个提问帖,那边我贴了代码 你可以断点调试下,或者加日志调试下

    • 流转的时光

      SOLVED canal 1.1.4版本连接mysql 8报错
      问答区 • • 流转的时光

      7
      0
      Votes
      7
      Posts
      467
      Views

      CloudCanal-万少

      @chenzhenxu123 不需要自己调整我们支持的

    • 1
    • 2
    • 3
    • 4
    • 5
    • 8
    • 9
    • 1 / 9