CloudCanal社区版功能需求征集帖(旧，新的提到gitee)
-
-
@白衣先生 提到问答区吧后续，说明下你的意图，每太明白你的意思
-
同步mysql时，经纬度类型怎么设置
-
功能需求 :
- 实例一对多的广播式投递
- 支持按规则的批量过滤条件设置
应用场景 : 单库单表到分库分表（比如64库1024表）用cloudcanal全量+增量迁移的话，有什么方案吗？我能想到的就是 1）把单库单表迁移到1024表（1024个迁移任务），然后把各个表里多余的数据删掉 2）配置1024个迁移任务，每个任务配置不同的过滤条件，比如where shardingalgo(shardingkey)=0, =1 … =1023
有没有只配置一个任务，然后不需要额外后续操作的办法呢
推荐理由 : 属于数据库架构改造，单库迁移到分库分表（如果有proxy的话会比较简单）
-
@zhb drop table truncate table可选
-
功能需求 : 可修改默认验证码
应用场景 : 社区版部署属于私有项目，默认验证码大家都知道，项目部署在公网，造成很大的安全隐患，希望可以有修改默认验证码的功能
推荐理由 : 社区版部署属于私有项目，默认验证码大家都知道，项目部署在公网，造成很大的安全隐患 -
功能需求 : 关闭手机号验证码登录，默认手机号，默认验证码登录，可直接登录，不安全
应用场景 : 私有部署的项目，不应允许验证码登录，特不安全，公网情况下，直接使用默认手机号，默认验证码直接登录，造成很大的安全隐患
推荐理由 : 私有部署的项目，不应允许验证码登录，特不安全，公网情况下，直接使用默认手机号，默认验证码直接登录，造成很大的安全隐患
-
告警是否可以添加测试按钮？？
功能需求 : 填完数据后，需要可以测试推送消息的按钮功能
应用场景 : 告警是很重要的通知信息，但是填完就没地方测试，只能制造测试，这样效率很低
推荐理由 : -
功能需求 : clickhouse支持在线DDL同步。包含：增加字段，删除字段，修改字段类型，修改字段名称，修改表名称等。
同步界面增加集群，单机模式可选
应用场景 :
推荐理由 :
状态: 针对clickhouse集群优化 -
功能需求：任务执行按钮，启动-停止-重跑
应用场景：同步任务中正常的操作功能
推荐理由: 生产环境迫切需要的正常功能，希望工程师优化
-
@qq-98f33a01b37b09202ea722c05b58953e 在 CloudCanal社区版功能需求征集帖 中说：
@junyu-cloudcanal 1.选择的时间不是位点记录的时间
2.忽略异常是不是类似于跳过异常继续跑,忽略掉的异常已经在显示了吗- 位点记录的时间了，是binlog transaction_end 时间，我们可以根据时间戳查找位点，不一定要file+offset. 能设置 file+offset 的作用是更加精确点，所以我认为是合理的诉求。
- 忽略的数据会打印的日志里面。
-
@junyu-cloudcanal 1.选择的时间不是位点记录的时间
2.忽略异常是不是类似于跳过异常继续跑,忽略掉的异常已经在显示了吗 -
@qq-98f33a01b37b09202ea722c05b58953e 在 CloudCanal社区版功能需求征集帖 中说：
@junyu-cloudcanal
现在看cloudcanal是记录了时间戳,但是跳过位点没有实现,回溯也是选择按天,最好是把卡住的那一条记录给显示出来,这样很容易排查左下角可以选择时间。另外我们不是跳位点，而是参数设置里面可以设置忽略异常。
-
@junyu-cloudcanal
现在看cloudcanal是记录了时间戳,但是跳过位点没有实现,回溯也是选择按天,最好是把卡住的那一条记录给显示出来,这样很容易排查 -
@junyu-cloudcanal 位点管控，提供方法跳过位点的数据，知道哪一行数据报错,这样应该比较舒服
-
@qq-98f33a01b37b09202ea722c05b58953e 在 CloudCanal社区版功能需求征集帖 中说：
功能需求 : 位点管控
应用场景 : 增强位点管控,实现断点续传,这样也就基本不需要数据修正功能,也不会出现数据错误或者丢失的情况
推荐理由 : 重要功能,目前阶段,如果断掉,整库重来还是比较费事的目前我们是通过时间戳来的。不过你说的设定位点也是一个能力。这样会更加精确点。
-
功能需求 : 位点管控
应用场景 : 增强位点管控,实现断点续传,这样也就基本不需要数据修正功能,也不会出现数据错误或者丢失的情况
推荐理由 : 重要功能,目前阶段,如果断掉,整库重来还是比较费事的 -
@qq-98f33a01b37b09202ea722c05b58953e OK
-
功能需求 : 对端clickhosue同步模式
应用场景 :
1.普通模式(Normal) :源insert,update,delete, 目标库也对应insert,update,delete , 建议 ClickHouse 表中新增一个名为 cloudcanal_data_version 的字段，用于异步删除数据安全
2.日志模式-UPDATE(LogUpdate) :
将DELETE ,UPDATE 转成 INSERT 语句往 ClickHouse 新增一条记录
这个操作,在ClickHouse 表里新增一个叫 EventType(String) 的字段
这个操作是将 数据源里的操作记录,全打到 ClickHouse 里进行存储
3.日志模式-追加(InsertAll) :
将DELETE ,UPDATE 转成 INSERT 语句往 ClickHouse 新增一条记录
这个操作,在ClickHouse 表里新增一个叫 EventType(String) 的字段
这个操作是将 数据源里的操作记录,全打到 ClickHouse 里进行存储每个模式都添加的字段 : 同步的时间戳
日志模式-UPDATE和日志模式-追加模式只是针对clickhouse做的特殊优化,全部导入,其他数据源比如mysql,日志模式-UPDATE就是INSERT ON DUPLICATE KEY UPDATE,这三种模式适用于大部分数据库,用户选择添加模式,同样用户也可以选择EventType,同步的时间戳等标签
推荐理由 : 大多数数据库都需要这种需求 -
@cloudcanal-万少 好吧，忘记啦多个表的情况，我都是一个表一个任务。。。
