CloudCanal

Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.

Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).

Subcategories

官方FAQ

常见问题处理和操作

25
Topics

35
Posts

前言
自定义代码往往和业务自身逻辑紧相关，如果由于自定义代码导致同步异常、延迟会丢数据可以参考本文的思路来进行排查。
基本排查思路顺序 先确认是否为自身自定义代码导致问题：这个只要创建一个不包含自定义代码功能的任务作为对比任务，运行下，看看同步结果是否符合预期，如果是的话，则说明问题和用户自身自定义代码相关，请使用debug自定义代码来进一步排查。 debug自定义代码，查看自定义代码接收输入的参数和返回的结果是否符合预期： ## debug 断点打在该接口实现代码第一行，查看customData变量的值是否符合预期，此时 ## 作为第一行代码，不涉及用户任何的自定义代码操作 List<CustomData> process(CustomData customData); ## debug断点打在该接口实现代码最后的return xxx.查看return的List<CustomData>中的结果是否符合预期如何进行debug 先停止任务任务详情->功能列表->参数配置->找到debugMode设置为true，默认使用debug端口8787
a9a75dff-50ad-4e1d-88c7-668c3e269deb-image.png 在IDE中以远程debug模式启动(我们以IDEA为例) 右上角新增启动配置选择Remote JVM Debug 填写ip地址和端口，远程调试端口为8787
28303323-048f-4a09-acb7-f7d730207b23-image.png
3fb0ba7c-8d82-4b21-a1a5-da2e709220d9-image.png
7cd60422-5876-414e-b6a4-b0296f9c217d-image.png 在CloudCanal平台上启动任务进入自定义代码断点后即可进行调试【重要！！】调试完毕后请重新修改参数debugMode=false并重启任务，否则该任务会无法正常执行如果自定义代码第一行和return结果都符合预期怎么进一步排查
参考https://www.askcug.com/topic/142在www.askcug.com上发帖，提供debug时第一行和return时预期返回的结果以及实际返回的结果，提供完整的自定义代码，以及库表结构以便于我们复现问题
技术分享

功能使用案例、数据解决方案、客户场景案例等分享

30
Topics

75
Posts

目前是否支持有主外键关系表的数据双向同步？
由于表有主外键关系，所有同步数据时需要有优先级，比如必须主表的数据同步后再同步外键表的数据，否则会插入出错，这种情况cloudcacal是否有机制能够处理？
版本发布

各个版本 release note 可在此了解查看

14
Topics

35
Posts

A

@junyu-cloudcanal 好的，谢谢，小版本还蛮重要的，有的软件差别比较大
安装部署

各个操作系统安装 CloudCanal 的操作手册

11
Topics

38
Posts

@神经蛙-0 打开脚本，把检查的那一行注释下。可能有shell兼容问题
需求交流

讨论、提交新需求

6
Topics

61
Posts

@白衣先生提到问答区吧后续，说明下你的意图，每太明白你的意思
官方信息发布

CloudCanal 官方信息发布版块

2
Topics

12
Posts

关于CloudCanal 产品介绍
2021年8月1日，经历近2年的准备，CloudCanal社区版正式与大家见面了。CloudCanal是一款由ClouGence公司发行的集结构迁移、数据全量迁移/校验/订正、增量实时同步为一体的数据迁移同步平台。产品包含完整的产品化能力，助力企业打破数据孤岛、完成数据互融互通，从而更好的使用数据。CloudCanal社区版为免费版本，我们会持续地对其维护，请大家放心下载使用。
研发团队
CloudCanal 核心团队成员来自阿里巴巴中间件和数据库团队, 长期从事分布式数据库、数据库中间件、应用中间件工作，包括阿里云分布式数据库中间件产品 DRDS、内部核心系统数据同步工具精卫、阿里云数据湖产品 DLA 、开源数据网关 Hasor 等产品负责人和核心研发。
关于开源
CloudCanal 内核未来会开源，相关工作准备中，请保持关注。未开源前，我们也会通过一些渠道分享 CloudCanal 技术和应用细节，欢迎大家加入微信粉丝群或者关注我们社区动态(参考文末信息)。
功能介绍支持的源和目标
CloudCanal是一款多源多端数据迁移同步工具，当前支持的数据源主要如下(20210801版本，数据源持续添加中)：
源端：MySQL、Oracle、PostgreSQL、Greenplum、Kafka
目标端：MySQL、Oracle、PostgreSQL、Greenplum、Kafka、RabbitMQ、RocketMQ、Tidb、ClickHouse、ElasticSearch、Hive、阿里云ADB
功能矩阵
CloudCanal针对数据源提供的标准能力如下
功能模块功能项数据源管理产品化添加阿里云数据源产品化添加自建数据源修改内网网Host地址修改数据源在CloudCanal平台存储的账号密码针对阿里云数据源自动添加机器白名单删除数据源数据源多维筛选搜索机器管理集群化管理机器生命周期控制机器系统信息实时监控白屏化机器日志查看(针对CloudCanal的Sidecar组件) 产品化添加ECS 产品化添加自建机器集群搜索监控管理监控大盘查看整体任务创建情况、机器使用情况白屏化全局异常事件搜集，支持按照任务搜索并且查看异常堆栈异常事件搜索告警发送日志系统管理用户管理：支持用户搜索状态机管理：支持查看任务状态机详情和状态异步任务管理：支持查看异步任务详情、状态、失败时异常堆栈支持全局操作审计、条件过滤任务管理支持卡片、列表两种任务展示方式任务迁移同步进度、状态查看任务生命周期控制：任务启动、删除、批量操作任务详情查看：同步的源、目标查看;运行机器查看;任务各同步阶段状态;统计信息查看清除位点：从当前时间点开始同步重置位点：设置位点的开始时间任务实时监控数据查看：实时RPS、任务引擎监控、资源监控等任务参数修改：支持任务内核参数调整、生效支持查看任务订阅情况，并且支持多维筛选支持白屏化查看任务关键日志任务监控报警：支持设定延迟阈值进行钉钉、短信、电话报警支持新增、删除订阅（新订阅的表会自动进行全量同步）支持异常跳过策略参数配置支持参数化配置并行度、批处理大小、内存队列大小等关键配置可视化任务创建支持可视化配置源、目标以及任务运行机器支持创建结构迁移、全量迁移、实时增量、校验任务、订正任务等任务类型支持创建任务规格选择支持库、表、列订阅裁剪支持整库迁移支持库树形批量筛选支持表过滤条件设置、表批量设置过滤条件支持丰富的筛选条件批量设置订阅支持按照列搜索并批量设置过滤条件支持列映射支持无主键表设置自定义主键支持虚拟列设置支持增量ACTION过滤

Tips:
功能矩阵中部分能力针对某些数据源尚未支持，具体可以关注我们社区动态社区版源和目标支持的数据源正在逐步开放中，请对我们保持关注。如想尝鲜体验完整源和目标，可以直接尝试CloudCanal的SAAS平台(免费使用)
技术架构
CloudCanal主体上分为三个主要部分：
控制台：完成CloudCanal的主要产品化能力 Sidecar: 主要负责任务进程和控制台程序之间的信息交互并且保证任务进程高可用任务内核：任务内核进程，负责具体同步任务的执行
80dfd1ef-ac9b-403c-af1d-a70f2637e3e9-image.png
下载地址
OSS下载地址：https://cloudcanal-community.oss-cn-hangzhou.aliyuncs.com/latest/cloudcanal.7z
安装教程：https://www.askcug.com/topic/75/cloudcanal%E7%A4%BE%E5%8C%BA%E7%89%88docker%E7%89%88%E5%AE%89%E8%A3%85-linux-macos/2
官方粉丝群和社区
粉丝群可以联系我们小助手WX： suhuayue001
官方社区地址：https://www.askcug.com

SOLVED mysql源库历史数据批量清理，增量同步如何过滤这部分操作
历史数据批量清理 • • QQ-FE4FF7A743FA65AF949C6B2944ADC202

2

0
Votes

2
Posts

54
Views

首先源端 mysql binlog 必须是工作在 row 模式下，这个是 CloudCanal 的工作基础。

基于此前提下批量清理 delete 会 mysql 被拆分为不同的 event，在 CloudCanal 上可以选择不订阅 delete 事件。即可达到要求，但同时也会丢失所有 delete 事件的同步。
SOLVED cloudcanal必须使用自带的mysql吗？自己已有的mysql是否无法自动建立库表
安装部署 • • 神经蛙 1

4

0
Votes

4
Posts

132
Views

请参考官方文档，根据文档提示更换元信息数据库。

https://www.clougence.com/cc-doc/operation/change_mysql
D

SOLVED 从mysql同步数据到clickhouse 表结构 comment 报错
clickhouse mysql • • duzhixin

8

0
Votes

8
Posts

252
Views

clickhouse 表结构 comment 只有最新版本 clickhouse 才支持，2022年3月时期 CloudCanal 版本并未对 clickhouse 做版本鉴别。

目前最新版 CloudCanal 已解决该问题，老版的 clickhouse 不会同步 comment。
C

SOLVED Unsupported postgres columnType geometry
geometry • • czj

5

0
Votes

5
Posts

58
Views

最新版已支持 geometry
采用redo模式同步时，增量时日志报错,导致延迟，位节点不走
增量任务延迟丢数据 • • wx-ou3Ig6aWe_jf2u4xZoYoJjDCUO-w

2

0
Votes

2
Posts

32
Views

超时了检查下网络吧
canal同步数据到doris1.0失败
doris • • 安生

5

0
Votes

5
Posts

88
Views

@junyu-cloudcanal 插个眼,问题修复了回下.
增量同步报错
增量同步失败 • • 秋实

3

0
Votes

3
Posts

55
Views

@junyu-cloudcanal
1、sidecar进程正常
89e65996-03c2-4323-9f01-d94b3066d443-image.png
2、日志在哪个目录看？
UNSOLVED This topic is deleted!
• 三年二班杜同学

1

0
Votes

1
Posts

15
Views

No one has replied
This topic is deleted!
• 九霄道长

1

0
Votes

1
Posts

8
Views

No one has replied
SOLVED cloudcanal-sidecar是装在容器里的默认应该是容器的 mysql 我如何添加容器外已经安装的 mysql那?
cloudcanal链接 • • 九霄道长

3

0
Votes

3
Posts

69
Views

@junyu-cloudcanal 感谢已解决我自己没开权限
SOLVED CloudCanalProcessorV2使用问题-字段无法正确赋值
cloudcanal cloudcanalprocessorv2 自定义代码 • • 微希夷

2

0
Votes

2
Posts

46
Views

@微希夷不好意思，回复有点晚。

private CustomFieldV2 isDel_0 = CustomFieldV2.buildField(“is_del”, 0, Types.TINYINT, false, true, false);

把最后一个字段isUpdated 改成true.
UNSOLVED 在k8s里sidecar报Waiting for console to start
sidecar • • 始、終

4

0
Votes

4
Posts

72
Views

@始-終那直接访问下试试？
SOLVED oracle数据源异常
oracle数据源异常 • • wx-ou3Ig6at7j8nWuOqsT1e8jgXhU0w

13

0
Votes

13
Posts

394
Views

@consumables 该问题已解决，请留意一下这个问题的相关历史回复。

权限问题：https://www.askcug.com/topic/263
C

UNSOLVED "远程执行SQL失败，请联系管理员。错误信息为：invoke rcontroller method failed.Request id:987bd641-b944-11ec-a34f-b1c790930547msg:SQLSyntaxErrorException: Unknown database 'default_cluster:lbs'
创建任务库表映射 • • czj

3

0
Votes

3
Posts

53
Views

C

@cloudcanal-万少在 "远程执行SQL失败，请联系管理员。错误信息为：invoke rcontroller method failed.Request id:987bd641-b944-11ec-a34f-b1c790930547msg:SQLSyntaxErrorException: Unknown database 'default_cluster:lbs' 中说：

如果你对端没创建lbs库，应该会走结构迁移的，你这边没进行结构迁移么？表结构文本麻烦给下，我们这边可以试下。总结你的问题是PG->SR有库映射的时候无法正常映射是么？

对的，问题是这个问题，表结构如下，库名lbs
CREATE TABLE public.th_task_business (
id varchar(32) NOT NULL,
vin varchar(17) NULL,
business_no varchar(32) NULL,
task_type varchar(5) NULL,
task_start_time timestamp NULL,
task_end_time timestamp NULL,
create_time timestamp NULL,
task_start_point varchar(500) NULL,
task_start_altitude float8 NULL,
task_end_point varchar(500) NULL,
task_end_altitude float8 NULL,
destination_position_id varchar(32) NULL,
destination_area_id varchar(32) NULL,
origin_position_id varchar(32) NULL,
origin_area_id varchar(32) NULL,
material_type varchar(5) NULL,
material_properties varchar(5) NULL,
receving_vin varchar(17) NULL,
task_state varchar(5) NULL,
CONSTRAINT th_task_business_pk PRIMARY KEY (id)
);
CREATE INDEX th_task_business_business_no_idx ON public.th_task_business USING btree (business_no, vin);
C

UNSOLVED This topic is deleted!
• czj

2

0
Votes

2
Posts

11
Views
P

UNSOLVED 数据检验和订正不能使用，有什么前置条件吗？
cloudcanal • • pan

5

0
Votes

5
Posts

122
Views

@pan 商业版支持
UNSOLVED This topic is deleted!
• Robin

1

0
Votes

1
Posts

3
Views

No one has replied
UNSOLVED 创建任务报错
创建任务报错 • • 你也可以很优秀

3

0
Votes

3
Posts

51
Views

@你也可以很优秀可能有不支持的类型，获取元数据跪了。
cloud canal 连接hive数据源问题
hive版本问题 • • 天涯an明月

6

0
Votes

6
Posts

50
Views

@天涯an明月升级到2.x 容易不？要不然现在可能暂时不支持了。。