上云无忧 > 文档中心 > 天翼云分布式消息服务Kafka中Broker、Topic、Producer等术语解释
分布式消息服务Kafka
天翼云分布式消息服务Kafka中Broker、Topic、Producer等术语解释

文档简介:
分布式消息服务 Kafka 是一个分布式、高吞吐量、高可扩展性的消息队列服务,广泛用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域。 分布式消息服务Kafka 针对开源的 Kafka 提供全托管服务,彻底解决开源产品长期以来的痛点,用户只需专注于业务开发,无需部署运维,低成本、更弹性、更可靠。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

基本术语


Broker

kafka集群包含一个活多个消息处理服务器,该服务器成为Broker,提供数据刷盘等核心功能。可以横向扩展、在线扩容以提高集群性能。


Topic

每条发布到Kafka 集群的消息都有一个主题,这个主题被称为 Topic。通过 Topic 可以对消息进行分类。每个 Topic 可以由一个或多个分区(Partition)组成,存储于一个或多个 Broker 上。


分区(partition)

消息分区是物理上的概念,一个Topic可以分为多个partition,每个partition是一个有序的队列。partition中的每条消息都会被分配一个有序的id(offset)。


Producer

消息和数据生成者,一般为应用调用API进行消息生产,并向Kafka的一个Topic发布消息。


Consumer

消息订阅者,也成为消息消费者,负责向 Kafka Broker 读取消息并进行消费。


消费组(Consumer Group)

一类Consumer的集合名称,这类Consumer通常消费一类消息,且消费逻辑一致,Consumer Group 和 Topic 的关系是 N:N,同一个 Consumer Group 可以订阅多个 Topic,同一个 Topic 也可以被多个 Consumer Group 订阅。

相似文档
  • 流计算处理 Kafka能够做到流计算处理,比如股市走向分析、气象数据测控、网站用户行为分析等领域,由于在这些领域中数据产生快、实时性强、数据量大,所以很难统一采集并入库存储后再做处理,这便导致传统的数据处理架构不能满足需求。而Kafka Stream以及Storm/Samza/Spark等流计算引擎的出现,可以根据业务需求对数据进行计算分析,最终把结果保存或者分发给需要的组件。
  • Produce(生产者) 生产者可以将数据发布到所选择的topic(主题)中。生产者负责将记录分配到topic的哪一个 partition(分区)中。可以使用循环的方式来简单地实现负载均衡,也可以根据某些语义分区函数(例如:记录中的key)来完成。下面会介绍更多关于分区的使用。
  • 主题,消费组,应用用户名: 不能包含特殊字符,只能是字母数字下划线横线 分区数大小: 一个分区仅能唯一对应一个消费者。而一个消费者可以对应多少分区。建议根据消费者的数量来增加分区数。
  • 分布式消息服务RocketMQ,是在开源消息中间件RocketMQ基础上,进行问题修复与优化,实现低成本、高可靠、高性能和具备监控运维能力的消息中间件产品。提供高效可靠的消息传递服务,解决分布式应用系统之间的消息数据通信难题,用于系统间的解耦。主要应用于: 1.分布式事务:基于消息有序、不重、不丢失的特性,通过发送事务型消息,实现数据的最终一致性。
  • Broker 消息中转角色,负责存储消息,转发消息,一般也称Server。在 JMS规范中称为Provider。RocketMQ一般在多个服务器部署broker集群,从而达到分布式、高可用、可横向扩展的目的。 Name Server Name Server是一个几乎无状态节点,可集群部署,节点之间无同步信息。它主要提供broker注册、Topic路由管理等功能。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部