上云无忧 > 文档中心 > 腾讯云消息队列 CKafka 连接器任务管理 - MySQL 数据接入
消息队列 CKafka
腾讯云消息队列 CKafka 连接器任务管理 - MySQL 数据接入

文档简介:
操作场景: CKafka 连接器支持接入各种数据源产生的不同类型的数据,统一管理,再分发给下游的离线/在线处理平台,构建清晰的数据通道。 CKafka 连接器支持订阅 MySQL 变更数据,免去对基于 CDC 的订阅组件如(Canal、Debezium 等)的运维成本。本文介绍在 CKafka 控制台创建 MySQL 数据接入任务的操作方法。
*此产品及展示信息均由腾讯云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

操作场景

CKafka 连接器支持接入各种数据源产生的不同类型的数据,统一管理,再分发给下游的离线/在线处理平台,构建清晰的数据通道。
CKafka 连接器支持订阅 MySQL 变更数据,免去对基于 CDC 的订阅组件如(Canal、Debezium 等)的运维成本。本文介绍在 CKafka 控制台创建 MySQL 数据接入任务的操作方法。

前提条件

已创建好数据目标 Topic。
已创建好数据源 MySQL 连接。

操作步骤

1. 登录 CKafka 控制台
2. 在左侧导航栏选择连接器 > 任务列表,选择好地域后,单击新建任务
3. 填写任务名称,任务类型选择数据接入,数据目标类型选择 MySQL数据接入,单击下一步
4. 填写数据源配置信息,单击下一步

数据源:选择提前创建好的 MySQL 连接。连接源设置的用户需要拥有 SELECT,RELOAD,SHOW DATABASES,REPLICATION SLAVE,REPLICATION CLIENT 的权限。
database:选择要监听的数据库。
读取模式:支持表模式query 模式
当读取模式为表模式时,需要选择 table。
当读取模式为 query 模式时,需要输入 query 语句。
增量依赖模式:任务定时查询数据库增量数据时,所依赖的列称作增量列。“时间”表示增量列为时间戳,“自增 ID”表示增量列为自增 ID。
增量监听列:监听列只允许非空;数据接入无法监听到当前时间内被删除或者没有更新监听列的数据。
复制存量数据:是否复制源数据库的存量数据。
包含Schema:消息输出时,KEY和VALUE内容是否包含 Schema。
5. 选择数据目标 Topic。
支持选择弹性 Topic 或者 CKafka 实例内 Topic。选择 CKafka 实例内
Topic 时,则需要指定目标 CKafka 实例,若实例设置了ACL 策略,请确保选中的 Topic 有读写权限。
6. 单击提交,可以在任务列表看到刚刚创建的任务,在状态栏可以看到创建进度。

相似文档
  • 操作场景: CKafka 连接器支持接入各种数据源产生的不同类型的数据,统一管理,再分发给下游的离线/在线处理平台,构建清晰的数据通道。 CKafka 连接器支持订阅 PostgreSQL 变更数据,免去对基于 CDC 的订阅组件如(Canal、Debezium 等)的运维成本。本文介绍在 CKafka 控制台创建 PostgreSQL 数据接入任务的操作方法。
  • 操作场景: CKafka 连接器支持接入各种数据源产生的不同类型的数据,统一管理,再分发给下游的离线/在线处理平台,构建清晰的数据通道。 CKafka 连接器支持订阅 SQL Server 变更数据,本文介绍在 CKafka 控制台创建 SQL Server 数据接入任务的操作方法。
  • 操作场景: CKafka 连接器支持接入各种数据源产生的不同类型的数据,统一管理,再分发给下游的离线/在线处理平台,构建清晰的数据通道。 CKafka 连接器支持订阅 TDSQL-C MySQL 版变更数据,免去对基于 CDC 的订阅组件如(Canal、Debezium 等)的运维成本。本文介绍在 CKafka 控制台创建 TDSQL-C MySQL 版数据接入任务的操作方法。
  • 操作场景: CKafka 连接器支持接入各种数据源产生的不同类型的数据,统一管理,再分发给下游的离线/在线处理平台,构建清晰的数据通道。 CKafka 连接器支持订阅 TDSQL-C PostgreSQL 版变更数据,免去对基于 CDC 的订阅组件如(Canal、Debezium等)的运维成本。本文介绍在 CKafka 控制台创建 TDSQL-C PostgreSQL 版数据接入任务的操作方法。
  • 操作场景: CKafka 连接器提供的数据流出能力,支持将数据流出至 CKafka ,实现 Kafka 实例级别和 Topic 级别同步数据,即支持不同地域实例间的复制迁移功能,也支持不同 CKafka 实例的任意 Topic 之间互相传递数据、自动同步,帮助用户提升业务连续服务的能力,同时提升数据的可靠性。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部