上云无忧 > 文档中心 > 腾讯云消息队列 CKafka - 对 CKafka 进行生产和消费压力测试
消息队列 CKafka
腾讯云消息队列 CKafka - 对 CKafka 进行生产和消费压力测试

文档简介:
测试工具: Kafka Producer 和 Consumer 的性能测试均可使用 Kafka 客户端自带的开源脚本,主要输出每秒发送消息量(MB/second)和每秒发送消息数(records/second)两项指标。
*此产品及展示信息均由腾讯云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

测试工具

Kafka Producer 和 Consumer 的性能测试均可使用 Kafka 客户端自带的开源脚本,主要输出每秒发送消息量(MB/second)和每秒发送消息数(records/second)两项指标。
Kafka Producer 测试脚本:$KAFKA_HOME/bin/kafka-producer-perf-test.sh
Kafka Consumer 测试脚本:$KAFKA_HOME/bin/kafka-consumer-perf-test.sh

测试命令

说明
以下命令中的 ckafka vip:vport 应替换为您实际实例分配的 IP 和端口。
生产测试命令示例:
		
bin/kafka-producer-perf-test.sh
--topic test
--num-records 123
--record-size 1000
--producer-props bootstrap.servers= ckafka vip : port
--throughput 20000
消费测试命令示例:
		
bin/kafka-consumer-perf-test.sh
--topic test
--new-consumer
--fetch-size 10000
--messages 1000
--broker-list bootstrap.servers=ckafka vip : port

测试建议

为了提高吞吐量,建议创建分区时数量 ≥ 3 (因后端 CKafka 集群节点数量最少是3,如
只创建1个分区则分区会分布在一个 Broker 上面,影响性能)。
由于 CKafka 是分区级别消息有序的,因此过多的分区也会影响生产性能,根据实际压测,建议分区数不超过6。
为了保证压力测试的效果,需要多客户端模拟一定的并发,建议采用多台机器作为压测客户端(生产端),每台启动多个压测程序,提高并发。此外建议每1s启动一个生产者,避免同时启动所有生产者导致测试机器高负载。
相似文档
  • Broker 配置参数说明: 当前 CKafka broker 端的一些配置如下,供参考:
  • CKafka 兼容0.9及以上的生产/消费接口(目前可以直接购买的版本包括0.10.2、1.1.1、2.4.1、2.8.1、3.2.3版本),如果接入低版本(如0.8版本)的自建 Kafka,您需要对接口进行相应改造。本文将从生产端和消费端对比0.8版本 Kafka 和高版本 Kafka,并提供改造方式。
  • 本文为您介绍腾讯云 CKafka 和社区版 Kafka 的兼容性,帮助您在使用腾讯云 CKafka 时根据业务需求选择更加适合您的版本。
  • 本文将分别通过生产端、服务端(CKafka)和消费端介绍影响消息队列 CKafka 版可靠性的因素,并提供对应的解决方法。
  • 简介: MongoDB Kafka Connector 允许监控一个 Mongo 实例内的所有数据库(database)或单个数据库,也允许监控某个数据库内的所有集合(collection)或单个集合。将 Mongo 的修改信息生成修改事件消息,以消息流的方式提交给 kafka 的 topic。客户端应用可以通过消费对应 topic 中的消息来对数据库修改事件进行处理,从而达到监控特定数据库的目的。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部