上云无忧 > 文档中心 > 天翼云数据治理中心 DataArts Studio 管理作业 - 配置Kafka/DMS Kafka源端参数
数据治理中心 DataArts Studio
天翼云数据治理中心 DataArts Studio 管理作业 - 配置Kafka/DMS Kafka源端参数

文档简介:
本章节主要介绍配置Kafka/DMS Kafka源端参数。 作业中源连接为配置Kafka连接或配置DMS Kafka连接时,源端作业参数如下表所示。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

作业中源连接为配置Kafka连接或配置DMS Kafka连接时,源端作业参数如下表所示。

表 Kafka作为源端时的作业参数

参数 说明 取值样例
Topics 支持单个或多个topic。 est1,est2
偏移量参数 从Kafka拉取数据时的初始偏移量:
最新:最大偏移量,即拉取最新的数据。
最早:最小偏移量,即拉取最早的数据。
已提交:拉取已提交的数据。
时间范围:拉取时间范围内的数据。
最新
是否持久运行 用户自定义是否永久运行。
消费组ID 用户指定消费组ID。 如果是从DMS Kafka导出数据,专享版请任意输入,标准版请输入有效的消费组ID。 sumer-group
数据格式 解析数据时使用的格式:
二进制格式:适用于文件迁移场景,不解析数据内容原样传输。
CSV格式:以CSV格式解析源数据。 l JSON:以JSON格式解析源数据。
CDC(DRS_JSON):以DRS_JSON格式解析源数据。
二进制格式
字段分隔符 默认为空格,使用Tab键作为分隔符请输入“\t”。 ,
最大消息数/poll 可选参数,每次向Kafka请求数据限制最大请求记录数。 100
最大时间间隔/poll 可选参数,向Kafka请求数据的最大时间间隔。 100
相似文档
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部