上云无忧 > 文档中心 > 腾讯云消息队列 CKafka 使用教程 - 迁移方案概述
消息队列 CKafka
腾讯云消息队列 CKafka 使用教程 - 迁移方案概述

文档简介:
操作场景: 本文档为您总体介绍将自建 Kafka 集群迁移到 CKafka 集群的可行方案,您可以根据自身业务场景选择合适您的迁移方案。
*此产品及展示信息均由腾讯云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

操作场景

本文档为您总体介绍将自建 Kafka 集群迁移到 CKafka 集群的可行方案,您可以根据自身业务场景选择合适您的迁移方案。

方案说明

方案1:单写双消费

该方案的整体简单清晰便于操作,且无数据积压,过渡平滑。

方案思路:
1. 完成 Topic 元数据的迁移
2. 自建 Kafka 集群中原有的消费者保持不动。
3. CKafka 消费端新起消费者,配置新的 CKafka 集群的 bootstrap-server,消费新的 CKafka 集群。
4. 等待所有消费端都已经监听了新的 CKafka 集群。
5. 将自建集群的生产切到 CKafka 新集群上(配置新的 CKafka 集群的 bootstrap-server)。
6. 自建 Kafka 集群中原有的消费者继续消费自建 Kafka 集群中剩余的数据,直到消费干净后方可下线原消费者。
方案优劣:
优点:整体迁移流程简单清晰便于操作,无数据积压,平滑过渡。
缺点:需要额外多起一套消费者。

方案2:单写单消费

该方案的整体简单清晰便于操作。

方案思路:
1. 完成 Topic 元数据的迁移
2. 将自建 Kafka 集群的生产切到 CKafka 新集群上 (配置新的 CKafka 集群的 bootstrap-server)。
3. 等待自建集群中的消费者消费完剩余数据。
4. 将老的消费者切到 CKafka 新集群消费(配置新的 CKafka 集群的 bootstrap-server)。
方案优劣:
优点:整体迁移流程简单清晰便于操作,过渡平滑。
缺点:在生产切到 CKafka 集群后,旧消费切到 CKafka 集群之前, CKafka 集群会存在一定量的堆积。

方案3:Mirrormaker 迁移

该方案会把自建集群 Kafka 中的存量数据迁移到 CKafka。

方案思路:
1. 完成 Topic 元数据的迁移
2. 自建 Kafka 集群中原有的消费者保持不动。
3. 启动 Mirrormaker 工具的数据同步功能。
4. 等待数据同步完成,修改消费者配置并切换消费者。
5. 等待数据同步完成,修改生产者配置并切换生产者。
6. 迁移完成。
相似文档
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部