上云无忧 > 文档中心 > 腾讯云消息队列 CKafka 实战教程 - Kafka Connect 接入 CKafka
消息队列 CKafka
腾讯云消息队列 CKafka 实战教程 - Kafka Connect 接入 CKafka

文档简介:
Kafka Connect 目前支持两种执行模式:standalone 和 distributed。 以 standalone 模式启动 connect: 通过以下命令以 standalone 模式启动 connect:
*此产品及展示信息均由腾讯云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠
Kafka Connect 目前支持两种执行模式:standalone 和 distributed。

以 standalone 模式启动 connect

通过以下命令以 standalone 模式启动 connect:
		
bin/connect-standalone.sh config/connect-standalone.properties connector1.properties [connector2.properties ...]
接入 CKafka 与接入开源 Kafka 没有区别,仅需要修改 bootstrap.servers 为申请实例时分配的 IP。

以 distributed 模式启动 connect

通过以下命令以 distributed 模式启动 connect:
		
bin/connect-distributed.sh config/connect-distributed.properties
该模式下,kafka connect 会将 offsets、configs 和 task status 信息存储在 kafka topic 中,存储的 topic 在 connect-distributed 中的以下字段配置:
		
config.storage.topic
offset.storage.topic
status.storage.topic
这三个 topic 需要手动创建,才能保证创建的属性符合 connect 的要求。
config.storage.topic 需要保证只有一个 partition,多副本且为 compact 模式。
offset.storage.topic 需要有多个 partition,多副本且为 compact 模式。
status.storage.topic 需要有多个 partition,多副本且为 compact 模式。
配置 bootstrap.servers 为申请实例时分配的 IP;
配置 group.id,用于标识 connect 集群,需要与消费者分组区分开来。
相似文档
  • Storm 是一个分布式实时计算框架,能够对数据进行流式处理和提供通用性分布式 RPC 调用,可以实现处理事件亚秒级的延迟,适用于对延迟要求比较高的实时数据处理场景。
  • Logstash 是一个开源的日志处理工具,可以从多个源头收集数据、过滤收集的数据并对数据进行存储作为其他用途。 Logstash 灵活性强,拥有强大的语法分析功能,插件丰富,支持多种输入和输出源。Logstash 作为水平可伸缩的数据管道,与 Elasticsearch 和 Kibana 配合,在日志收集检索方面功能强大。
  • Beats 平台 集合了多种单一用途数据采集器。这些采集器安装后可用作轻量型代理,从成百上千或成千上万台机器向目标发送采集数据。 Beats 有多种采集器,您可以根据自身的需求下载对应的采集器。本文以 Filebeat(轻量型日志采集器)为例,向您介绍 Filebeat 接入 CKafka 的操作方法,及接入后常见问题的解决方法。
  • CKafka 跨可用区部署: CKafka 专业版支持跨可用区部署,在拥有3个或3个以上可用区的地域购买 CKafka 实例时,可以最多选择四个可用区购买跨可用区实例。该实例分区副本会强制分布在各个可用区节点上,这种部署方式能够让您的实例在单个可用区不可用情况下仍能正常提供服务。
  • 本文主要介绍消息队列 CKafka 版生产和消费消息的最佳实践,帮助您减少消费消息出错的可能性。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部