腾讯云消息队列 CKafka - 连接器订阅 MySQL 的分区分表策略
文档简介：
背景：
CKafka 连接器支持将订阅的多个 Mysql 数据库表的变更消息推送到 Kafka 的 Topic，有两种推送形式：
1. 支持将多个表的消息推送到同一个 Topic。
2. 支持将多个表的消息推送到不同的 Topic。
咨询热线：400-826-7010，为您提供专业的售前咨询，让您快速了解云产品，助您轻松上云！
微信咨询
免费试用、价格特惠
背景
CKafka 连接器支持将订阅的多个 Mysql 数据库表的变更消息推送到 Kafka 的 Topic，有两种推送形式：
1. 支持将多个表的消息推送到同一个 Topic。
2. 支持将多个表的消息推送到不同的 Topic。
当订阅数据发送到多分区的 Topic 时，订阅数据发送的分区策略如下：
1. 默认情况下，数据将根据表的主键进行 hash，然后发送到多个分区。即同一个主键的订阅数据会发送到同一个分区，保证同一行数据的订阅变更数据是有序的。
2. 当根据主键 hash 不满足需求时，允许手动指定分区 hash 的列。即手动指定根据哪些列来进行 hash 发送至 Topic 的分区。
手动指定分区策略
手动指定分区策略需要在新建任务-数据源配置步骤设定每个表的分区策略，默认情况下将按照主键作为 key。
操作步骤如下：
1. 在创建数据链路任务时，在数据源配置界面可选择需要订阅的多库多表。
2. 根据选中的表添加分区策略，可设置表字段将字段值相同的数据变更消息投递到同一分区中。
数据订阅到多个 topic
如果希望将订阅的所有表的消息投递到多个 Topic，在新建任务-数据目标配置步骤选择分发到多个 Topic，然后配置表和 Topic 的映射规则。
说明
当数据订阅到多个 Topic 时，会将不同表的数据发送到不同的 Topic。在 Topic 维度的分区策略时，还是会根据上述的分区策略进行发送。
