上云无忧 > 文档中心 > 腾讯云消息队列 CKafka 连接器 - 连接管理
消息队列 CKafka
腾讯云消息队列 CKafka 连接器 - 连接管理

文档简介:
操作场景: 当有大量的数据任务共用同一个数据源或者数据目标时,每次创建任务时需要重复填写数据源或者数据目标的配置信息,操作比较繁琐。
*此产品及展示信息均由腾讯云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

操作场景

当有大量的数据任务共用同一个数据源或者数据目标时,每次创建任务时需要重复填写数据源或者数据目标的配置信息,操作比较繁琐。
CKafka 连接器支持单独构建连接,连接创建完成后,可以直接关联到具体的数据任务,作为数据源或者数据目标,无需再重复配置,降低用户的操作成本。
一个连接可以关联多个数据任务。目前 CKafka 连接器支持的连接类型有:腾讯云数据仓库 (TCHouse-C),时序数据库(CTSDB),分析型数据库 Doris,数据传输服务(DTS),Elasticsearch Service,MongoDB,MySQL,PostgreSQL ,TDSQL-C,MariaDB , SQL Server 和消息队列 Kafka。
本文介绍在 CKafka 连接器中创建,修改,删除连接的使用方法。

操作步骤

新建连接

1. 登录 CKafka 控制台
2. 在左侧导航栏选择连接器 > 连接列表,选择好地域后,单击新建连接
3. 在弹窗中选择好链接类型后,单击下一步,填写连接配置信息。
腾讯云数据仓库 (TCHouse-C)
时序数据库(CTSDB)
分析型数据库 Doris
数据传输服务(DTS)
Elasticsearch Service
MongoDB
MySQL
PostgreSQL
TDSQL-C
MariaDB
SQL Server
云数据仓库-PostgreSQL
TDSQL PostgreSQL 版
消息队列 Kafka

连接名称:填写连接名称。
描述:选填,填写连接说明。
数据仓库类型:支持云上 TCHouse-C 和自建 TCHouse-C。
云上 TCHouse-C:腾讯云数据仓库 TCHouse-C 在创建的时候就已经使用 私有连接 进行封装,因此可以直接在控制台选择对应的 腾讯云数据仓库 TCHouse-C 实例,数据流出会自动进行相关 VPC 网络的打通。
自建 TCHouse-C:由于 CKafka 实例采用的是托管实例的形式,而 emr TCHouse-C 是直接在购买的 CVM 上创建公网路由,因此需要用户手动在此基础上创建负载均衡服务,才能打通 VPC 服务。下面以 emr TCHouse-C 为例创建负载均衡:
1.1.1 打开 emr 控制台 ,选取目标集群,依次单击 集群资源节点状态,在状态页中找到 TCHouse-C 的节点 IP。

1.1.2 进入 负载均衡 控制台,新建一个负载均衡实例后,单击上方导航栏的 监听器管理,在页面中单击新建 TCP/UDP/TCP SSL 监听器,在端口中填写数据流出时用到的端口

1.1.3 创建监听器后,单击 绑定后台服务,输入 TCHouse-C 中的 tcp 端口,默认应为 9000。

1.1.4 绑定完成后,即可在数据流出控制台选择当前创建的负载均衡服务,端口填写的是 负载均衡 服务中监听的端口。

说明:
目前仅支持创建与负载均衡同一地域的数据流出 TCHouse-C 服务。
用户名:TCHouse-C 的用户名(默认为 default
密码: TCHouse-C 的密码。
出于安全考虑,数据流出 TCHouse-C 中密码为必填项。目前实例创建后可能密码为空,此时需要在配置文件 user.xml 中修改密码。具体可参见 TCHouse-C 官方文档

连接名称:填写连接名称。
描述:选填,填写连接说明。
CTSDB 地址:选择连接的 CTSDB 数据库地址。
用户名:填写数据库用户名。
密码:填写数据库的密码。

连接名称:填写连接名称。
描述:选填,填写连接说明。
源数据库类型:默认自建/EMR Doris
CLB 实例:仅支持内网的 CLB,且该 CLB 需要同时挂载 Doris FE 和 BE 的端口,详情参见 自建集群接入说明
FE 端口:FE jdbc 端口,默认 jdbc 端口为 9030。
BE 端口:BE http 端口,默认 http 端口为 8040。
用户名:填写数据库用户名。
密码:填写数据库的密码。

连接名称:填写连接名称。
描述:选填,填写连接说明。
DTS 实例:选择 DTS 实例,DTS 订阅 Topic 分区数量要与目标转储 Kafka 的 Topic 分区数量一致。
DTS 消费组:选择 DTS 消费组。
消费者账号:DTS 消费组的账号。
消费组密码:DTS 消费组的密码。

连接名称:填写连接名称。
描述:选填,填写连接说明。
ES 实例集群:选取腾讯云 Elasticsearch Service 实例集群。
实例用户名:输入 Elasticsearch 实例用户名,腾讯云 Elasticsearch 默认用户名为 elastic,且不可更改。
实例密码:输入 Elasticsearch 实例密码。

连接名称:填写连接名称。
描述:选填,填写连接说明。
源数据库类型:
腾讯云 MongoDB:选择数据库实例。
自建 MongoDB:选择用户 CLB 实例并指定端口。
用户名:源 MongoDB 的用户名。
密码:源 MongoDB 的密码。

连接名称:填写连接名称。
描述:选填,填写连接说明。
源数据库类型:
腾讯云 MySQL:选择数据库实例。
自建 MySQL:选择用户 CLB 实例并指定端口。仅支持内网的 CLB,且受 MySQL 同步机制限制,基于 CLB 方案的数据接入仅支持 CLB 挂载 1 台主库,详情参见 自建集群接入说明
用户名:填写 MySQL 的用户名。
密码:填写 MySQL 的密码。
说明:
在新建 MySQL 连接时,由于需要同步表结构,为保证数据一致性,CKafka连接器会为源 MySQL 实例加全局锁。该全局锁在表结构同步完后就会释放,理论上持续时间很短。

连接名称:填写连接名称。
描述:选填,填写连接说明。
源数据库类型:
腾讯云 PostgreSQL:选择数据库实例。
自建 PostgreSQL:选择用户 CLB 实例并指定端口。仅支持内网的 CLB,且受 MySQL 同步机制限制,基于 CLB 方案的数据接入仅支持 CLB 挂载 1 台主库,详情参见 自建集群接入说明
用户名:填写 PostgreSQL 的用户名。
密码:填写 PostgreSQL 的密码。

连接名称:填写连接名称。
描述:选填,填写连接说明。
数据库类型:支持 PostgreSQL 和 MySQL 两种类型。
数据库实例:选择数据库实例,目前仅支持运行中的实例。
用户名:填写数据库用户名。
密码:填写数据库密码。

连接名称:填写连接名称。
描述:选填,填写连接说明。
数据库实例:选择数据库实例。
用户名:填写数据库用户名。
密码:填写数据库密码。

连接名称:填写连接名称。
描述:选填,填写连接说明。
数据库实例:选择数据库实例。
用户名:填写数据库用户名。
密码:填写数据库密码。

连接名称:填写连接名称。
描述:选填,填写连接说明。
数据库实例:选择数据库实例。
用户名:填写数据库用户名。
密码:填写数据库密码。

连接名称:填写连接名称。
描述:选填,填写连接说明。
数据库实例:选择数据库实例。
用户名:填写数据库用户名。
密码:填写数据库密码。
说明:
当需要以整个 Kafka 实例级别同步数据时,需要新建 Kafka 连接。支持腾讯云 CKafka 和自建 Kafka。

连接名称:填写连接名称。
描述:选填,填写连接说明。
Kafka类型
腾讯云CKafka。选择所属地域和该地域下创建好的 CKafka 实例。
自建Kafka。输入自建 Kafka 的 IP /域名地址:端口号。
4. 连接配置信息填写后,单击下一步,开始进行连接校验,校验成功后,连接创建完成,在连接列表可以看到创建好的连接。

编辑配置

1. 登录 CKafka 控制台
2. 在左侧导航栏选择连接器 > 连接列表,单击目标连接的“ID”,进入基本信息页面。
3. 单击基本信息模块右上角的编辑配置,修改连接配置信息,您可以选择是否开启更新并重启所有关联任务,开启后,连接关联的所有任务都将更新并重启。

查看关联任务

1. 登录 CKafka 控制台
2. 在左侧导航栏选择连接器 > 连接列表,单击目标连接的“ID”,进入基本信息页面。
3. 在页面上方选择关联任务页签,可以查看到该连接关联的任务列表。您可以通过数据源或者数据目标来筛选关联的任务类型。

删除连接

在 连接列表 页面,单击操作列的删除,在弹窗中二次确认后,即可删除连接。
注意:
只有关联任务数为0时连接才可以被删除。

相似文档
  • 操作场景: CKafka 连接器支持接入各种数据源产生的不同类型的数据,统一管理,再分发给下游的离线/在线处理平台,构建清晰的数据通道。 本文介绍在 CKafka 控制台创建 HTTP 数据主动上报任务的操作方法。
  • 操作场景: CKafka 连接器支持接入各种数据源产生的不同类型的数据,统一管理,再分发给下游的离线/在线处理平台,构建清晰的数据通道。 本文介绍在 CKafka 控制台创建 COS 数据接入任务的操作方法。
  • 操作场景: CKafka 连接器支持接入各种数据源产生的不同类型的数据,统一管理,再分发给下游的离线/在线处理平台,构建清晰的数据通道。 本文介绍在 CKafka 控制台创建 DTS 数据接入任务的操作方法。
  • 操作场景: CKafka 连接器支持接入各种数据源产生的不同类型的数据,统一管理,再分发给下游的离线/在线处理平台,构建清晰的数据通道。 CKafka 连接器支持订阅 MariaDB 变更数据,本文介绍在 CKafka 控制台创建 MariaDB 数据接入任务的操作方法。
  • 操作场景: CKafka 连接器支持接入各种数据源产生的不同类型的数据,统一管理,再分发给下游的离线/在线处理平台,构建清晰的数据通道。 CKafka 连接器支持订阅 MongoDB 变更数据,免去对基于 CDC 的订阅组件如(Canal、Debezium 等)的运维成本。本文介绍在 CKafka 控制台创建 MongoDB 数据接入任务的操作方法。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部