上云无忧 > 文档中心 > 天翼云分布式消息服务Kafka常见问题QA
分布式消息服务Kafka
天翼云分布式消息服务Kafka常见问题QA

文档简介:
Q:接入地址出现不足三个ip+端口: A:问题:集群三台机器正常运作的情况下,接入点会出现三个ip:port连起来,当出现不足三个时候,证明其中一台机器不正常工作(没出现在接入点的机器)。 解决:尽快联系管理人员查看不正常工作的节点,尽快恢复。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

Q:接入地址出现不足三个ip+端口:

A:问题:集群三台机器正常运作的情况下,接入点会出现三个ip:port连起来,当出现不足三个时候,证明其中一台机器不正常工作(没出现在接入点的机器)。

解决:尽快联系管理人员查看不正常工作的节点,尽快恢复。


Q:消息在kafka保留多长时间?

A:消息保存72小时,超过72小时的消息将会被删除。


Q:Kafka可以创建多少个主题?

A:Kafka普通版可以创建50个主题、Kafka高级版可以创建100个主题。


Q:如果想消费已经被消费过的数据。

A:问题描述:consumer是底层采用的是一个阻塞队列,只要一有producer生产数据,那consumer就会将数据消费。当然这里会产生一个很严重的问题,如果你重启一消费者程序,那你连一条数据都抓不到,但是log文件中明明可以看到所有数据都好好的存在。换句话说,一旦你消费过这些数据,那你就无法再次用同一个groupid消费同一组数据了。

解决:可在控制台重置消费组消费点(3天内)。



Q:如何保证消息发布的可靠性?

A:生产者配置:

如果acks=0,生产者在成功写入消息之前是不会等待任何的来自服务器的响应。可靠性最低、性能最优

如果acks=1,只要集群的首领节点收到消息,生产者就会收到来自服务器成功的响应。

如果acks=all / -1,只有在集群所有的跟随副本都接收到消息后,生产者才会受到一个来自服务器的成功响应。可靠性最高,性能最差。


Q:如何保证保证消息的顺序?

A:Kafka 每个 Partition 都是相互独立的,Kafka 只能保证单个 Partition 下的有序。

局部有序:当我们所需要的有序其实是针对单个用户的有序,而不要求全局有序。我们可以以用户的 ID 作为 key , 确保单个用户一定会被分配到某个固定的 Partition 上(可能会引起数据倾斜问题),这样我们就能够实现单个用户维度的有序了。

如果一定要全局的有序,所有消息都使用同一个 key ,这样他们一定会被分配到同一个 Partition 上,这种做法适用于临时性且数据量不大的小需求,消息量大了会有性能压力。


Q:如何选择 Partiton 的数量?

A:在创建 Topic 的时候可以指定 Partiton 数量,也可以在创建完后手动修改。但 Partiton 数量只能增加不能减少。中途增加 Partiton 会导致各个 Partiton 之间数据量的不平等。

Partition 的数量直接决定了该 Topic 的并发处理能力。但也并不是越多越好。Partition 的数量对消息延迟性会产生影响。

一般建议选择 Broker Num * Consumer Num ,这样平均每个 Consumer 会同时读取 Broker 数目个 Partition , 这些 Partition 压力可以平摊到每台 Broker 上。

Q:如何选择磁盘空间?

A:存储空间说明:

Kafka支持多副本存储,副本数量为3。存储空间包含所有副本存储空间总和,因此,您在创建Kafka实例,选择初始存储空间时,建议根据业务消息体积预估以及副本数量选择合适的存储空间。
例如:业务消息体积预估100GB,则磁盘容量最少应为100GB*3+ 预留磁盘大小100GB。


Q:如何选择实例带宽?

A:Kafka实例的网络带宽指单向(读或写)最大带宽。一般建议选择带宽时建议预留30%,确保您的应用运行更稳定。
100MB/s
业务流量为70M以内时推荐选用。
300MB/s
业务流量为210M以内时推荐选用。

相似文档
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部