上云无忧 > 文档中心 > 天翼云分布式消息服务Kafka整体架构图
分布式消息服务Kafka
天翼云分布式消息服务Kafka整体架构图

文档简介:
Produce(生产者) 生产者可以将数据发布到所选择的topic(主题)中。生产者负责将记录分配到topic的哪一个 partition(分区)中。可以使用循环的方式来简单地实现负载均衡,也可以根据某些语义分区函数(例如:记录中的key)来完成。下面会介绍更多关于分区的使用。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

整体架构




Produce(生产者)

生产者可以将数据发布到所选择的topic(主题)中。生产者负责将记录分配到topic的哪一个 partition(分区)中。可以使用循环的方式来简单地实现负载均衡,也可以根据某些语义分区函数(例如:记录中的key)来完成。下面会介绍更多关于分区的使用。


Consumer(消费者)

消费者使用一个 消费组 名称来进行标识,发布到topic中的每条记录被分配给订阅消费组中的一个消费者实例.消费者实例可以分布在多个进程中或者多个机器上。


Broker

kafka集群包含一个活多个消息处理服务器,该服务器成为Broker,提供数据刷盘等核心功能。可以横向扩展、在线扩容以提高集群性能。


相似文档
  • 主题,消费组,应用用户名: 不能包含特殊字符,只能是字母数字下划线横线 分区数大小: 一个分区仅能唯一对应一个消费者。而一个消费者可以对应多少分区。建议根据消费者的数量来增加分区数。
  • 分布式消息服务RocketMQ,是在开源消息中间件RocketMQ基础上,进行问题修复与优化,实现低成本、高可靠、高性能和具备监控运维能力的消息中间件产品。提供高效可靠的消息传递服务,解决分布式应用系统之间的消息数据通信难题,用于系统间的解耦。主要应用于: 1.分布式事务:基于消息有序、不重、不丢失的特性,通过发送事务型消息,实现数据的最终一致性。
  • Broker 消息中转角色,负责存储消息,转发消息,一般也称Server。在 JMS规范中称为Provider。RocketMQ一般在多个服务器部署broker集群,从而达到分布式、高可用、可横向扩展的目的。 Name Server Name Server是一个几乎无状态节点,可集群部署,节点之间无同步信息。它主要提供broker注册、Topic路由管理等功能。
  • 典型场景特征: 异步解耦:系统间请求异步解耦,通过消息堆积与高性能特性,实现平谷削峰; 数据复制:通过消息将数据分发到多个系统进行处理; 事件通知:通过消息广播,高效地把分布式应用联系起来; 日志处理:高效地异步同步日志,进而做实时或离线分析。
  • Name Server Name Server是一个几乎无状态节点,一般集群部署(2个节点或以上),节点之间无同步信息。它主要提供broker注册、Topic路由管理等功能。 Broker 分布式消息中间件核心组件,提供消息生产、消费,主从同步、数据刷盘等核心功能。可以横向扩展、在线扩容以提高集群性能。每个Broker与Name Server集群的所有节点建立长连接,并定时注册Topic等信息。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部