上云无忧 > 文档中心 > 腾讯云消息队列 CKafka 连接器 - 查看监控
消息队列 CKafka
腾讯云消息队列 CKafka 连接器 - 查看监控

文档简介:
操作场景: CKafka 连接器支持监控您创建的资源,如弹性 Topic、任务链路等,您可以根据这些监控数据,分析资源的使用情况,针对可能存在的风险及时进行处理。
*此产品及展示信息均由腾讯云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

操作场景

CKafka 连接器支持监控您创建的资源,如弹性 Topic、任务链路等,您可以根据这些监控数据,分析资源的使用情况,针对可能存在的风险及时进行处理。
当 Topic 类型为 CKafka 实例内 Topic 时,查看监控数据可以参考 查看监控信息
本文介绍在 CKafka 连接器支持的监控指标和查看监控数据的操作方法。

监控指标及含义

任务监控-数据接入
监控指标
说明
每批平均处理数据耗时(ms)
每批平均处理数据耗时。
输出记录数(Count)
从转换输出并为此任务写入 Kafka 的记录数。
输入记录数(Count)
从转换输出并为此任务写入 Kafka 的记录数。
每批输入平均耗时(ms)
每批平均处理数据耗时。
每批输入最大耗时(ms)
批次拉取最大耗时。
任务监控-数据流出
监控指标
说明
平均处理耗时(ms)
往下游投递消息的平均耗时。
最大处理耗时(ms)
往下游投递消息的最大耗时。
输入记录数(Count)
向上游读取的记录数。
输出记录数(Count)
向下游成功投递的记录数。
数据库监控
说明
仅支持源数据为 MySQL,PostgreSQL,TDSQL_C,SQL Server 的数据库。
监控指标
说明
订阅延迟(ms)
上次更改事件的时间戳与处理它的任务之间的毫秒数。这些值将包含运行数据库服务器和连接器的机器上的时钟之间的任何差异。
Topic 监控
监控指标
说明
Topic 最大生产流量(MB/s)
Topic 最大生产流量(不含副本流量)。
Topic 最大消费流量(MB/s)
Topic 最大消费流量。
Topic 消费消息条数(条)
Topic 的实际消费消息条数,按照所选择的时间粒度统计求和。
Topic 消费流量(MB)
Topic 的实际消费流量(不包含副本产生的流量),按照所选择的时间粒度统计求和。
Topic 占用磁盘的消息总量(MB)
Topic 实际占用磁盘的消息总量(不包含副本),按照所选择的时间粒度取最新值。
Topic 生产消息条数(条)
Topic 的实际生产消息条数,按照所选择的时间粒度统计求和。
Topic 生产流量(MB)
Topic 的实际生产流量(不包含副本产生的流量),按照所选择的时间粒度统计求和。
Topic 落盘的消息总条数(条)
Topic 的实际的落盘的消息总条数(不包含副本),按照所选择的时间粒度取最新值。
Topic 消费限流次数(Count/s)
Topic 消费限流次数,按照所选择的时间粒度统计求和。
Topic 生产限流次数(Count/s)
Topic 生产限流次数,按照所选择的时间粒度统计求和。
Topic-Partition 监控
监控指标
说明
Partition 消费流量(MBytes)
Partition 的实际消费流量(不包含副本产生的流量),按照所选择的时间粒度统计求和。
Partition 生产流量(MBytes)
Partition 的实际生产流量(不包含副本产生的流量),按照所选择的时间粒度统计求和。
Partition 消费消息条数(Count)
Partition 的实际消费消息条数,按照所选择的时间粒度统计求和。
Partition 落盘的消息总条数(Count)
Partition 的实际的落盘的消息总条数(不包含副本),按照所选择的时间粒度取最新值。
Partition 占用磁盘的消息总量(MB)
Partition 实际占用磁盘的消息总量(不包含副本),按照所选择的时间粒度取最新值。
Partition 生产消息条数(Count)
Partition 的实际生产消息条数,按照所选择的时间粒度统计求和。

功能入口

查看 CKafka 连接器监控数据有两个入口:
入口一(仅支持查看 Topic 监控):登录 CKafka 控制台,在弹性 Topic 列表页面找到要查看的 Topic,单击Topic 的“ID”,进入基本信息页面,在页面上方单击监控页签。
入口二(支持查看所有监控数据):登录 CKafka 控制台 ,在连接器 > 任务列表页面找到要查看的任务,单击任务的“ID”,进入基本信息页面,在页面上方单击监控页签。
在监控页面,选择好要查看的页签,设置好时间范围后,可以查看对应的监控指标。

图标
说明


单击可查看监控指标同环比。


单击可刷新获取最新的监控数据。


单击可将图表复制到 Dashboard,关于 Dashboard 请参见 什么是 Dashboard


勾选后可在图表上显示图例信息。

相似文档
  • 操作场景: 当任务在健康的状态时,数据正常转储, Topic 有新增的消息写入时,可以在对应 Topic 中查看到新增的消息。当您遇到消息消费异常,也可以通过查询异常消息来排查问题。
  • 事件中心将 CKafka 连接器所生成的事件数据进行统一管理、存储、分析和展示,方便您查看和分析,您可以在事件中心查看事件数据详情,同时您也可以为事件配置告警通知规则,及时发现问题并进行处理。
  • 操作场景: 与任何客户端-服务器应用程序一样,Kafka 通过一组明确定义的 API 提供对其功能的访问,这些 API 通过 Kafka 协议公开,是一种仅限于 Kafka 的 TCP 二进制协议。与 Kafka API 交互的最佳方式是客户端通过使用 Kafka 协议,Apache Kafka 项目仅正式支持 Java 的客户端库,但除此之外,Confluent 还正式支持 C/C++,C#,Go 和 Python 的客户端库。
  • 操作场景: CKafka 连接器是腾讯云上的数据接入和处理平台,一站式提供对数据的接入、处理和分发功能。数据在互联网业务中至关重要,而数据接入上报是整个链路中,介于数据产生和计算、存储、分析的桥梁,简单高效的数据接入是至关重要的。
  • 操作场景: MongoDB 内有 Change Stream 作为其追踪变更的解决方案,但为了更好地对变更记录进行搜索,往往需要将变更记录同步到 Elasticsearch、日志服务(CLS) 等。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部