上云无忧 > 文档中心 > 腾讯云消息队列 CKafka 使用教程 - 接入外部监控 Prometheus
消息队列 CKafka
腾讯云消息队列 CKafka 使用教程 - 接入外部监控 Prometheus

文档简介:
操作场景: 腾讯云 CKafka 专业版实例默认为所有用户提供了外部监控服务的接入方式,通过提供的接入点可完成 CKafka 实例的监控,包括未同步副本、主题流入消息速率等一系列开源 Kafka 可监控的度量指标。
*此产品及展示信息均由腾讯云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

操作场景

腾讯云 CKafka 专业版实例默认为所有用户提供了外部监控服务的接入方式,通过提供的接入点可完成 CKafka 实例的监控,包括未同步副本、主题流入消息速率等一系列开源 Kafka 可监控的度量指标。
腾讯云 CKafka 专业版实例目前提供 Prometheus 抓取监控数据的 broker 节点指标信息,包括有 CPU、内存使用情况、系统负载等基本监控度量指标,以及 broker JMX 暴露出的度量指标。

操作步骤

1. 登录 CKafka 控制台
2. 在左侧导航栏选择实例列表,单击目标实例的“ID”,进入实例基本信息页面。
3. 使用 Prometheus 监控模块单击右上角的获取监控目标,选择 VPC 和子网。

4. 单击提交,获取一组监控目标。

5. 下载 Prometheus,并配置监控抓取地址。
5.1 进入 Prometheus 程序包所在目录,执行如下命令,解压 Prometheus 程序包。
		
tar -vxf prometheus-2.30.3.linux-amd64.tar.gz
5.2 修改配置文件 prometheus.yml,增加 jmx_exporternode_exporter 抓取任务。
		
scrape_configs:
# The job name is added as a label `job=<job_name>` to any timeseries scraped from this config.
- job_name: "prometheus"
# metrics_path defaults to '/metrics'
# scheme defaults to 'http'.
static_configs:
- targets: ["localhost:9090"]
- job_name: "broker-jmx-exporter"
scrape_interval: 5s
metrics_path: '/metrics'
static_configs:
- targets: ['10.x.x.0:60001','10.x.x.0:60003','10.x.x.0:60005']
labels:
application: 'broker-jmx'
- job_name: "broker-node-exporter"
scrape_interval: 10s
metrics_path: '/metrics'
static_configs:
- targets: ['10.x.x.0:60002','10.x.x.0:60004','10.x.x.0:60006']
labels:
application: 'broker-node'
其中 broker-jmx-exporter 是 Prometheus 抓取 broker 的 jmx 指标配置的标签项,Targets 其中包含映射的端口信息,而 broker-node-exporter 为抓取 broker 所在节点的基本指标配置的标签项, scrape_interval 为抓取监控度量数据的频率。
5.3 启动 Prometheus。
		
./prometheus --config.file=prometheus.yml --web.enable-lifecycle
5.4 打开 Prometheus 提供的 UI 界面查看接入的 Targets 状态是否正常,如在浏览器输入 http://localhost:9090

5.5 检查 Targets 状态都是 UP

如果 Targets 状态为 DOWN 则需要检查网络访问是否可达,或根据状态栏最后的 Error 选项查看原因。
6. 查询监控指标数据。 单击 Graph 选项输入查询的指标名称即可看到相应的监控数据,例如输入node_memory_MemAvailable_bytes ,单击execute

相似文档
  • 操作场景: 您可以将消息队列 CKafka 版专业版实例迁移至同一地域内的其它可用区。迁移可用区后,实例的所有属性、配置和连接地址都不会改变。迁移所需时间跟实例的数据量有关。
  • 操作场景: 维护时间对于消息队列 CKafka 版而言非常重要,为保证您的 CKafka 实例的稳定性,后台系统会不定期在维护时间内对实例进行维护操作。建议您对业务实例设置自己可接受的维护时间,一般设置在业务低峰期,将对业务的影响降到最低。
  • 操作场景: CKafka 支持实例级别设置默认消息大小,作为新建 Topic 时的默认初始值,可以后期单独针对 Topic 进行修改。
  • 操作场景: Topic(主题)是某一种分类的名字,消息在 Topic 中可以被存储和发布。CKafka 对外使用 Topic 的概念,生产者往 Topic 中写消息,消费者从 Topic 中读消息。为了做到水平扩展,一个 Topic 实际是由多个 Partition(分区)组成,遇到瓶颈时,可以通过增加 Partition 的数量进行横向扩容。
  • 操作场景: 本文介绍您在 CKafka 控制台创建 Topic 后,查看 Topic 详情和生产端连接关系的操作步骤。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部