[ReleaseNote] CloudCanal-1.0.0

[CloudCanal-万少]

发版时间:2021年7月27日
版本号: 1.0.0

新特性

• 新增PolarDB源端支持
• 新增Adb for mysql对端支持
• 新增mysql->mysql、mysql->adb的虚拟列功能
• 新增Clickhouse对端支持
• 新增DRDS源端、对端支持
• 新增Oracle源端支持
• 新增Tidb对端支持
• 支持mysql->mysql双向复制(需开启GTID)
• 各源和目标端支持列裁剪和列映射(MQ全量不支持裁剪)
• 支持mysql/polardb->kafka的整库迁移
• 支持mysql/polardb为源端的相关链路把源端唯一键设置为自定义的主键、支持批量设置
• 源端为mysql/polardb的同步任务，创建任务时支持树状批量选择库以及对端映射批量选择
• 新增polardb源端
• 允许用户不订阅主键
• 无主键表允许用户配合自定义主键，开放订阅INSERT/UPDATE/DELETE
• 新增编辑订阅关系能力，支持对已有任务添加和删除新增订阅
• 支持全量任务忽略异常能力
• 支持任务异常直接跳转白屏化查看
• 异常监控支持显示任务名称和描述信息、支持按照任务名查找

BugFix&优化

• 修复es对端对于json的处理问题
• 支持用户自定义配置各组件端口
• 支持新配置项needJsonEscape，mysql json字段中的\r\n等特殊符号会被正确处理成转义符，避- 免写入报错
• 修复任务编辑时没有感知主任务大小写配置的问题
• 修复MQ链路若干bug
• 修复ClickHouse相关问题若干
• 过滤drds的xa事件，避免影响后续写入
• 修复mysql->gp索引同步导致的结构迁移问题
• 机器监控CPU负载显示异常问题
• 机器监控处显示逻辑CPU核数
• 监控管理、任务管理页面CPU、内存等信息不展示的问题
• 支持 decimal 字段做数据过滤
• 修复创建任务不同步DDL选择无效的问题
• 控制台批量操作只操作第一页的问题
• CPU使用率优化
• 规格选择匹配默认测试，优化默认参数任务性能
• 修复pg->pg结构迁移大小写问题
• 支持基于regionId自动获取vpc的binlog下载地址
• 优化内存控制，支持基于memory size的控制策略
• 优化监控体系代码，并额外支持实时内存监控
• 修复跨账号之间创建任务，访问机器的权限问题
• 修复pg->pg增量bool类型写入的问题
• 支持阿里云RDS oss binlog多节点版本、优化RDS oss binlog下载性能
• 支持阿里云金融云RDS oss binlog下载
• 钉钉报警支持艾特到具体的人
• 优化任务状态展示，基于心跳信息展示，更简单和准确
• binlog parser优化字符串处理性能，提升json大字段解析性能

[junyu-cloudcanal]

@oc 在 [RELEASE_20210727] CloudCanal版本迭代日志 中说：

想请问下，PolarDB数据源往clickhouse实时迁移数据，中间可能需要进行合并等操作，能完成这样的功能吗?可以的话，有没有性能测试报告看看？

目前我们没有严格的性能测试报告，因为 clickhouse 合并有一定随机性，初步观察，IUD 混合负载下，全转成 insert 再批量写路 ，4KB /条 数据， 单线程 1.5K rps 问题不大，我们自身还有很多优化空间。

[OC]

想请问下，PolarDB数据源往clickhouse实时迁移数据，中间可能需要进行合并等操作，能完成这样的功能吗?可以的话，有没有性能测试报告看看？