腾讯云消息队列 CKafka 连接器的技术原理
文档简介：
系统架构：
CKafka 连接器系统架构如下所示：
咨询热线：400-826-7010，为您提供专业的售前咨询，让您快速了解云产品，助您轻松上云！
微信咨询
免费试用、价格特惠
系统架构
CKafka 连接器系统架构如下所示：
主要分为四层：
数据源
数据源指客户数据源所处的位置。数据源可以在云上、自建 IDC、跨云、混合云中。数据可以是业务数据、日志数据或者 DB 中的数据等。
接入层
CKafka 连接器提供了适配多种协议的接入层，如 HTTP Rest，Kafka Protocol，Change Data CapTure 等。接入层分布式部署，具有弹性伸缩、自动重试等能力。保证数据接入的稳定性。
存储层
CKafka 连接器的存储层是腾讯云上的消息队列 （MQ），默认是 Kafka，也可以支持 Pulsar、RocketMQ 等其他 MQ。MQ 存储层主要起到削峰填谷，数据分发、缓存的作用。
数据处理转储层
CKafka 连接器提供了数据清洗（ETL）引擎，根据配置进行数据清洗，并提供了 Connector 的转储能力，可以消费存储层的数据，将数据导入到下游的各个不同的存储引擎。
