导航

    数据用户治理组
    • 注册
    • 登录
    • 搜索
    • 版块
    • 最新
    • 话题
    • 热门
    • 用户
    • 群组

    CloudCanal社区版功能需求征集帖(旧，新的提到gitee)

    需求交流
    cloudcanal
    12
    49
    8481
    正在加载更多帖子
    • 从旧到新
    • 从新到旧
    • 最多赞同
    回复
    • 在新帖中回复
    登录后回复
    此主题已被删除。只有拥有主题管理权限的用户可以查看。
    • CloudCanal-万少
      CloudCanal-万少 @樹清仔「柯蘭」 最后由 编辑

      @樹清仔-柯蘭 需求不太合理，订阅的库表可能有上千个，放在这个页面会太过于冗杂的

      樹清仔「柯蘭」 1 条回复 最后回复 回复 引用 0
      • 樹清仔「柯蘭」
        樹清仔「柯蘭」 最后由 编辑

        功能需求 : 优化任务面板展示体验
        应用场景 : 任务多时，详情内部可展示表名
        推荐理由 : 每次查看详情，都要点击表映射，才能看出表名，如果多任务，操作很繁琐，这个查看使用率还是挺高的吧
        62538374-948f-4c3e-ae6a-d1a3e37573fb-image.png

        CloudCanal-万少 1 条回复 最后回复 回复 引用 0
        • 樹清仔「柯蘭」
          樹清仔「柯蘭」 最后由 编辑

          mysql DLL，字段新增，es是否支持同步？？
          功能需求 : mysql新增字段，es也新增mappings字段，需要可以自动加入同步
          应用场景 : 产品需求一直在改变，新增字段是经常发生的事，mysql新增字段后，es也更新了mappings字段信息，现在做法是使用索引别名，需要重做索引，迁移索引别名，希望可以自动检测更新字段，或者可以手动修改同步字段信息
          推荐理由 : 1. 使用率很频繁；2. 用户可以随时控制同步字段

          1 条回复 最后回复 回复 引用 0
          • 樹清仔「柯蘭」
            樹清仔「柯蘭」 @樹清仔「柯蘭」 最后由 编辑

            @樹清仔-柯蘭
            页面可以直接注册，并且使用默认验证码，对于默认用户（超级管理员？）也是无感知，很不安全
            810198b0-4bc6-4a41-944b-bd856f675e00-image.png

            1 条回复 最后回复 回复 引用 1
            • 樹清仔「柯蘭」
              樹清仔「柯蘭」 最后由 编辑

              功能需求 : 本地部署，不需要注册功能，并且支持默认用户（相当于超级管理员）添加附属用户（相当于普通用户），就算不能添加用户，注册功能也需要禁用
              应用场景 : 本地部署都是私有项目，如果网站暴露公网，现在别人是可以直接注册登录，而且默认用户也没有权限查看其他用户的项目或查看用户列表，很不安全
              推荐理由 : 权限校验不安全，并且容易被别人利用甚至攻击

              樹清仔「柯蘭」 1 条回复 最后回复 回复 引用 0
              • H
                hhaiben123 最后由 编辑

                功能需求 : 支持源端 SQLServer 到目标端kafka
                应用场景 : 实时统计业务场景
                推荐理由 :

                1 条回复 最后回复 回复 引用 1
                • zhb
                  zhb 最后由 编辑

                  功能需求 : clickhouse目前针对的是本地表，如果修改一个字段，整个集群和视图都会修改
                  应用场景 :
                  推荐理由 :
                  状态: 针对clickhouse集群优化

                  1 条回复 最后回复 回复 引用 0
                  • junyu-cloudcanal
                    junyu-cloudcanal @神经蛙 0 最后由 编辑

                    @神经蛙-0 本周会出一篇文章，专门讲双向同步回环问题，以及如何通过 cloudcanal 进行双向同步。

                    @神经蛙-0 在 CloudCanal社区版功能需求征集帖 中说：

                    功能需求：支持mysql 灾备方案（某些表有主外键情况）
                    应用场景：在mysql做云上云下同步时使用，需要解决数据同步回环

                    1 条回复 最后回复 回复 引用 0
                    • 樹清仔「柯蘭」
                      樹清仔「柯蘭」 最后由 编辑

                      ad815f76-0f5e-4e78-93ff-871c82284bde-image.png

                      告警现在支持钉钉，希望支持企业微信

                      1 条回复 最后回复 回复 引用 0
                      • CloudCanal-万少
                        CloudCanal-万少 @神经蛙 0 最后由 编辑

                        @神经蛙-0 mysql->mysql 支持基于GTID的双向同步

                        1 条回复 最后回复 回复 引用 0
                        • 神经蛙 0
                          神经蛙 0 最后由 编辑

                          功能需求：支持mysql 灾备方案（某些表有主外键情况）
                          应用场景：在mysql做云上云下同步时使用，需要解决数据同步回环

                          CloudCanal-万少 junyu-cloudcanal 2 条回复 最后回复 回复 引用 0
                          • Y
                            yn_qian @CloudCanal-万少 最后由 编辑

                            @cloudcanal-万少 👍 👍 👍

                            1 条回复 最后回复 回复 引用 0
                            • CloudCanal-万少
                              CloudCanal-万少 @yn_qian 最后由 编辑

                              @yn_qian 在 CloudCanal社区版功能需求征集帖 中说：

                              字

                              自定义代码处理在研发中了，这个后续可以使用我们自定义代码处理能力

                              Y 1 条回复 最后回复 回复 引用 0
                              • Y
                                yn_qian 最后由 编辑

                                功能需求 : 支持表字段经过逻辑运算、字符串拼接生成新字段
                                应用场景 : 源数据字段与目标字段在含义上不能完全对应的情况，比如源数据中多个状态位字段经过逻辑运算后表示一个最终的状态
                                推荐理由 :

                                CloudCanal-万少 1 条回复 最后回复 回复 引用 0
                                • 巫师卡拉
                                  巫师卡拉 @CloudCanal--文强 最后由 编辑

                                  @wx-ou3ig6fy6brplnwm7544-ekro-xu 好👌

                                  1 条回复 最后回复 回复 引用 0
                                  • CloudCanal--文强
                                    CloudCanal--文强 @巫师卡拉 最后由 编辑

                                    @巫师卡拉 可以加一下我微信suhuayue001，微信沟通起来可以更及时更方便

                                    巫师卡拉 1 条回复 最后回复 回复 引用 0
                                    • 巫师卡拉
                                      巫师卡拉 最后由 编辑

                                      此回复已被删除！
                                      1 条回复 最后回复 回复 引用 0
                                      • 巫师卡拉
                                        巫师卡拉 最后由 编辑

                                        功能需求 : 在修改目标主键步骤:自定义主键支持唯一约束的列和其他非唯一约束列作为联合的自定义主键
                                        应用场景 : 多张表同步到一张表的增量同步场景
                                        推荐理由 : 在分表场景下,需要设置自定义主键作为增量同步的条件,目前很多分表的子表里都是默认表里的id为唯一主键,其他流水号仅做了索引,没有加唯一索引约束.如果要求这些表都要先加上唯一索引约束才能进行同步会比较麻烦.可以通过id+流水号作为联合的自定义主键的方式,这样不需要在源表加唯一索引约束,同时能确保修改目标主键的唯一性,该功能非常需要.

                                        CloudCanal--文强 1 条回复 最后回复 回复 引用 0
                                        • 樹清仔「柯蘭」
                                          樹清仔「柯蘭」 最后由 编辑

                                          功能需求 : 1. 可以加入sql源的 join语法，关联不同的字表，挑选字段；2. 支持sql源中的经纬度字段（一般都是两个独立字段）合并成一个 es的地图类型（geo-point）对象存储；
                                          应用场景 : 1. 在sql中可能存在很多张关联表，但是同步到目标时，一般都是挑选一些字段同步，并且都需要合并几张表的n个字段作为一个同步数据进行同步；2. sql中的地图类型字段性能很一般，一般都会经纬度分开字段存储，然后把两个字段合并同步到es、MongoDB等中，进行地图搜索
                                          推荐理由 : 以上两个应用场景很常见，业务需求也很多，希望支持

                                          1 条回复 最后回复 回复 引用 0
                                          • 歪
                                            歪歪 最后由 编辑

                                            功能需求 : 源数据能自定义sql生成虚拟列，目标数据生成列
                                            应用场景 : 主要为源数据为mysql关系型数据库时，通过简单计算等处理后生成宽表同步到clickhouse
                                            推荐理由 : clickhouse 虚拟列性能不佳

                                            1 条回复 最后回复 回复 引用 0
                                            • 1
                                            • 2
                                            • 3
                                            • 2 / 3
                                            • First post
                                              Last post
                                            Copyright © 2020 ClouGence, Inc.备案号：浙ICP备20007605号-2