上云无忧 > 文档中心 > 百度智能云专享版消息服务 for Kafka 的产品架构
消息服务 for Kafka
百度智能云专享版消息服务 for Kafka 的产品架构

文档简介:
kafka 集群服务由多个 broker 组成,服务架构如下: 主题(Topic): 用于分类消息,可视为特定的消息流或消息队列,生产者向指定主题推送消息,消费者订阅主题并拉取消息。 消息节点(Kafka Broker): 组成 Kafka 集群服务的单个 kafka 进程,对应一台独立的 BCC 云主机。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

服务架构

kafka 集群服务由多个 broker 组成,服务架构如下: 

  • 主题(Topic): 用于分类消息,可视为特定的消息流或消息队列,生产者向指定主题推送消息,消费者订阅主题并拉取消息。
  • 消息节点(Kafka Broker): 组成 Kafka 集群服务的单个 kafka 进程,对应一台独立的 BCC 云主机。
  • 生产者(Producer): 生产消息的系统或者服务,向服务推送消息,写入到指定的主题。
  • 消费组(Consumer Group): 消费组由一个或多个消息者(Consumer)组成,消费者订阅单个或多个主题,主动从 Broker 拉取消息。

数据分布

  • 分区(Partition): 每个 Topic 由多个 Partition 组成,Partition 对应实际存储消息的文件,可以分布在集群的多个 Broker 上,以此增加读写并发性,提高服务吞吐量。
  • 副本(Replica): 每个 Partition 可以配置多个 Replica,同一 Partition 的不同副本必须分布在不同的 Broker 上。同一个 Partition 的多个 Replica,只有一个 Replica 作为 Leader 提供读写服务,其他 Replica 都作为 Follower 从 Leader 同步数据。当作为 Leader 的 Replica 因故障下线后,其他同步的 Follower 会重新选举 Leader 提供服务,确保数据安全并提高服务的可靠性。

消费组规则

  • 任何消费者必须加入一个消费组。
  • 同一个消费组下,不同消费者会被分配到不同的 Partition,每个 Partition 最多只能被分配给一个消费者,因此每条消息只会被一个消费者处理,此时相当于点对点模式。
  • 同一个消费组下 Partition 只能分配到 1 个消费者,因此同一个消费组下消费者数量不要超过订阅的分区数。
  • 一个 Topic 可以同时被多个消费组订阅,不同消费组维护独立的消费记录,Topic 中的消息相当于广播给所有订阅的消费组,此时相当于发布/订阅模式。
相似文档
  • 兼容开源: 100%兼容开源社区版本,业务无需改动即可快速完成迁移上云,在节约成本的同时使您更加专注于业务开发。 运维无忧: 配备完整的监控告警等运维服务,与百度智能云专业的云监控(BCM)服务打通,日常运维提供丰富的监控指标,出现故障自动发送告警,提供7×24小时的实时监控服务,为您的系统保驾护航。
  • 产品规格: 根据不同的业务场景,消息服务 for Kafka专享版支持用户灵活配置集群规格,可由节点规格、节点数量、磁盘类型、磁盘大小以及网络带宽组成最为适合实际业务场景所需要的集群配置组合,在满足对业务稳定支持的前提下,最大化降低成本,提升性价比。
  • 本系列文档将为您介绍使用专享版消息服务 for Kafka的基本流程,由通过控制台创建Kafka专享版集群实例、创建主题、配置用户权限、客户端设置,直至最终完成消息收发,帮助您加速熟悉过程,成功对接业务。
  • 概述: 本文介绍如何通过消息服务 for Kafka专享版管理控制台创建Kafka专享集群实例。 前提条件: 已完成百度智能云账号注册。 已创建VPC、子网及可用安全组。
  • 概述: 本文介绍在已完成消息服务 for Kafka专享版集群创建后,如何通过管理控制台创建主题。 前提条件: 已完成百度智能云账号注册。 已创建Kafka集群。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部