上云无忧 > 文档中心 > 腾讯云消息队列 CKafka 连接器 - Schema 管理
消息队列 CKafka
腾讯云消息队列 CKafka 连接器 - Schema 管理

文档简介:
操作场景: CKafka 连接器支持 Schema 管理功能,您可以将创建好的 Schema 绑定到具体的数据流入任务上,将会按该 Schema 对流入的数据进行格式校验。
*此产品及展示信息均由腾讯云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

操作场景

CKafka 连接器支持 Schema 管理功能,您可以将创建好的 Schema 绑定到具体的数据流入任务上,将会按该 Schema 对流入的数据进行格式校验。

操作步骤

创建 Schema

接下来以订阅 MySQL 数据到 ES 为例为您介绍新建链路的操作步骤。
1. 登录 CKafka 控制台
2. 在左侧导航栏选择连接器 > Schema 管理,选择好地域后,单击新建 Schema,填写 Schema 信息。

Schema 名称:填写 Schema 名称,只能包含字母、数字、下划线、"-"、"."。
描述:可选,填写 Schema 描述信息。
字段配置:添加字段,最多支持添加100条字段。
字段名:填写字段名称。
类型:支持 BOOLEAN,INT8,INT16,INT32,INT64,FLOAT32,FLOAT64,STRING 八种类型。
允许为 NULL:校验上游是否存在该字段。允许为 NULL 代表:如果上游没有该字段,自动添加设置的默认值字段。
说明
关于字段配置中是否为 NULL 的详细说明:
true
上游字段存在且符合要求:写入。
上游字段存在且不符合要求:不写入。
上游字段不存在:写入默认值。
false
上游字段存在且符合要求:写入。
上游字段存在且不符合要求:不写入。
上游字段不存在:不写入。
描述:填写字段描述。
3. 单击确定,完成 Schema 创建。

删除 Schema

在 Schema 管理列表页面,单击操作列的 删除,在弹窗中二次确认后,即可删除。

绑定任务

Schema 创建完成后,可以绑定到具体的数据流入任务上。
1. 在 Schema 管理列表页面,单击目标 Schema 的“ID”,进入基本信息页面。
2. 在页面上方选择关联任务页签,单击绑定任务,勾选具体的数据流入任务,完成绑定。

解绑任务

1. 在 Schema 管理列表页面,单击目标 Schema 的“ID”,进入基本信息页面。
2. 在页面上方选择关联任务页签,单击绑定任务操作栏的解绑,完成解绑。
说明
解绑后,将不会按该 Schema 对数据进行格式校验。
相似文档
  • 操作场景: 为了提升用户搭建数据流任务的效率,CKafka 连接器支持任务编排功能。对于只有一个数据源、一个数据目标的场景,用户可以使用预设模板一键搭建数据流任务,将数据从源快速集成到指定目标。
  • 操作场景: CKafka 连接器支持监控您创建的资源,如弹性 Topic、任务链路等,您可以根据这些监控数据,分析资源的使用情况,针对可能存在的风险及时进行处理。
  • 操作场景: 当任务在健康的状态时,数据正常转储, Topic 有新增的消息写入时,可以在对应 Topic 中查看到新增的消息。当您遇到消息消费异常,也可以通过查询异常消息来排查问题。
  • 事件中心将 CKafka 连接器所生成的事件数据进行统一管理、存储、分析和展示,方便您查看和分析,您可以在事件中心查看事件数据详情,同时您也可以为事件配置告警通知规则,及时发现问题并进行处理。
  • 操作场景: 与任何客户端-服务器应用程序一样,Kafka 通过一组明确定义的 API 提供对其功能的访问,这些 API 通过 Kafka 协议公开,是一种仅限于 Kafka 的 TCP 二进制协议。与 Kafka API 交互的最佳方式是客户端通过使用 Kafka 协议,Apache Kafka 项目仅正式支持 Java 的客户端库,但除此之外,Confluent 还正式支持 C/C++,C#,Go 和 Python 的客户端库。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部