上云无忧 > 文档中心 > 天翼云分布式消息服务Kafka的应用场景
分布式消息服务Kafka
天翼云分布式消息服务Kafka的应用场景

文档简介:
流计算处理 Kafka能够做到流计算处理,比如股市走向分析、气象数据测控、网站用户行为分析等领域,由于在这些领域中数据产生快、实时性强、数据量大,所以很难统一采集并入库存储后再做处理,这便导致传统的数据处理架构不能满足需求。而Kafka Stream以及Storm/Samza/Spark等流计算引擎的出现,可以根据业务需求对数据进行计算分析,最终把结果保存或者分发给需要的组件。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

应用场景


流计算处理

Kafka能够做到流计算处理,比如股市走向分析、气象数据测控、网站用户行为分析等领域,由于在这些领域中数据产生快、实时性强、数据量大,所以很难统一采集并入库存储后再做处理,这便导致传统的数据处理架构不能满足需求。而Kafka Stream以及Storm/Samza/Spark等流计算引擎的出现,可以根据业务需求对数据进行计算分析,最终把结果保存或者分发给需要的组件。


日志聚合

Kafka本身的性能是非常高效的,同时Kafka的特性决定它非常适合作为"日志收集中心",这是因为Kafka在采集日志的时候业务是无感知的,其能够兼容自己的上游,能够直接地通过配置加密消息。当日志数据发送到Kafka集群里面,其实对于业务而言是完全无侵入的。同时其在下游又能够直接地对接Hadoop/ODPS等离线仓库存储和Strom/Spark等实现实时在线分析。在这样的情况之下,使用Kafka,只需要用户去关注整个流程里面的业务逻辑,而无需做更多的开发就能够实现统计、分析以及报表。

相似文档
  • Produce(生产者) 生产者可以将数据发布到所选择的topic(主题)中。生产者负责将记录分配到topic的哪一个 partition(分区)中。可以使用循环的方式来简单地实现负载均衡,也可以根据某些语义分区函数(例如:记录中的key)来完成。下面会介绍更多关于分区的使用。
  • 主题,消费组,应用用户名: 不能包含特殊字符,只能是字母数字下划线横线 分区数大小: 一个分区仅能唯一对应一个消费者。而一个消费者可以对应多少分区。建议根据消费者的数量来增加分区数。
  • 分布式消息服务RocketMQ,是在开源消息中间件RocketMQ基础上,进行问题修复与优化,实现低成本、高可靠、高性能和具备监控运维能力的消息中间件产品。提供高效可靠的消息传递服务,解决分布式应用系统之间的消息数据通信难题,用于系统间的解耦。主要应用于: 1.分布式事务:基于消息有序、不重、不丢失的特性,通过发送事务型消息,实现数据的最终一致性。
  • Broker 消息中转角色,负责存储消息,转发消息,一般也称Server。在 JMS规范中称为Provider。RocketMQ一般在多个服务器部署broker集群,从而达到分布式、高可用、可横向扩展的目的。 Name Server Name Server是一个几乎无状态节点,可集群部署,节点之间无同步信息。它主要提供broker注册、Topic路由管理等功能。
  • 典型场景特征: 异步解耦:系统间请求异步解耦,通过消息堆积与高性能特性,实现平谷削峰; 数据复制:通过消息将数据分发到多个系统进行处理; 事件通知:通过消息广播,高效地把分布式应用联系起来; 日志处理:高效地异步同步日志,进而做实时或离线分析。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部