腾讯云消息队列 CKafka 实战教程 - 替换 Canal 实现 MySQL 数据库订阅

消息队列 CKafka

简介/价格/文档

腾讯云消息队列 CKafka 实战教程 - 替换 Canal 实现 MySQL 数据库订阅

文档简介：

背景： Canal 是阿里巴巴开源的一款通过解析 MySQL 数据库增量日志，达到增量数据订阅和消费目的 CDC 工具。Canal 解析 MySQL 的 binlog 后可投递到 kafka 一类的消息中间件，供下游系统进行分析处理。

*此产品及展示信息均由腾讯云官方提供。免费试用咨询热线：400-826-7010，为您提供专业的售前咨询，让您快速了解云产品，助您轻松上云！微信咨询

免费试用、价格特惠

文档详情

背景

Canal 是阿里巴巴开源的一款通过解析 MySQL 数据库增量日志，达到增量数据订阅和消费目的 CDC 工具。Canal 解析 MySQL 的 binlog 后可投递到 kafka 一类的消息中间件，供下游系统进行分析处理。如果您正在或考虑使用 Canal 同步 MySQL 的增量变更记录到 kafka，腾讯云 CKafka 连接器提供了完美兼容此场景的能力。本文介绍 Canal 拉取 MySQL 变更记录并投递到 kafka 的简易使用场景以及 CKafka 连接器相应的替换处理方式。

CKafka 连接器订阅 MySQL 功能列表

允许选择多库多表。

允许指定根据队列消息进行分区同步。

允许通过正则匹配选择多表。

支持存量数据的同步。

同时支持 DDL、DML 类型的变更。

兼容 Canal、debezium 等消息格式。

案例说明

前提：已有 MySQL 实例和 kafka 实例

Canal 订阅 MySQL 变更记录到 kafka

1. 下载 canal server： canal.deployer-1.1.x.tar.gz 并解压。

		
			tar -zxvf canal.deployer-1.1.x.tar.gz

2. 进入解压目录，配置 conf/example/instance.properties 文件，下面展示必须配置的 mysql 实例信息以及消息中间件的 topic、partition 等信息：

				
			canal.instance.master.address=xx.xx.xx.xx:3306
		
			canal.instance.dbUsername=user
		
			canal.instance.dbPassword=password
		
			canal.mq.topic=canal-test-1
		
			canal.mq.partition=0

3. 进入解压目录，配置 conf/canal.properties 文件，下面展示必须配置的消息中间件实例信息：

				
			canal.serverMode = kafka
		
			kafka.bootstrap.servers = xx.xx.xx.xx:9092
		
			kafka.acks = all
		
			kafka.compression.type = none
		
			kafka.batch.size = 16384
		
			kafka.linger.ms = 1
		
			kafka.max.request.size = 1048576
		
			kafka.buffer.memory = 33554432
		
			kafka.max.in.flight.requests.per.connection = 1
		
			kafka.retries = 0