上云无忧 > 文档中心 > 腾讯云消息队列 CKafka 实战教程 - 日志服务 CLS
消息队列 CKafka
腾讯云消息队列 CKafka 实战教程 - 日志服务 CLS

文档简介:
简介: 您可以将日志主题的数据投递到腾讯云 Ckafka,然后用于您的实时流计算、或者入库等场景。如果您没有购买腾讯云 Ckafka 实例,可以考虑使用日志服务(Cloud Log Service,CLS)自带的 Kafka 协议消费功能。
*此产品及展示信息均由腾讯云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

简介

您可以将日志主题的数据投递到腾讯云 Ckafka,然后用于您的实时流计算、或者入库等场景。如果您没有购买腾讯云 Ckafka 实例,可以考虑使用日志服务(Cloud Log Service,CLS)自带的 Kafka 协议消费功能

前提条件

已开通腾讯云消息队列 (CKafka 版)。
确保当前操作账号拥有开通投递到 Ckafka 的权限。如果您是子账号,一般需要主账号进行相关授权,方可使用。权限问题请参见 自定义权限策略示例

操作步骤

1. 在日志主题同地域下,创建一个 Ckafka 实例。详情请参见 创建实例
2. 在日志主题同地域下,根据如下配置参数,创建一个 Topic。详情请参见 创建 Topic

预设ACL策略:关闭预设 ACL 策略。
展示高级配置
CleanUp.policy:选择 delete。该参数需设置为 delete,否则会投递失败。
max.message.bytes:设置为 ≥ 8MB。该参数若小于8MB,会因 CLS 侧的单条 message 过大,无法写入 Ckafka Topic,导致投递失败。
3. 前往 日志服务控制台,并按需选择不同的操作,进入投递任务管理页面或者日志主题管理页面。
在左侧导航栏中,单击投递任务管理,选择地域、日志集和日志主题。

在左侧导航栏中,单击日志主题,选择需要配置投递到 Ckafka 任务的日志主题,进入日志主题管理页面。

4. 单击投递到Ckafka 页签,进入投递到 Ckafka 配置页面。
5. 单击右侧的编辑,开启投递到 Ckafka 开关,选择相应的 Ckafka 实例以及对应的 Topic,选择需要投递的日志字段。

6. 单击确定,启动投递到 CKafka。
注意
如需在投递至 Ckafka 前对日志进行清洗加工过滤,可参考使用 数据加工 操作。

常见问题

日志数据无法投递 Ckafka,怎么办?

如果您在腾讯云 Ckafka 开启了 ACL 鉴权,会导致日志数据无法投递。请关闭该 Topic 的 ACL。

提示没有读写 Ckafka Topic 的权限,怎么办?

如果您直接使用 API 接口投递数据到 Ckafka,可能会存在读写 Ckafka Topic 的权限问题。因为,如果您在控制台使用该功能,系统会引导您完成相关授权,如果您直接调用 API 投递,则需要手动授权。具体的排查和解决方案请参见 投递权限查看及配置
相似文档
  • 操作场景: 日志采集功能是容器服务 TKE 为用户提供的集群内日志采集工具,可以将集群内服务或集群节点特定路径文件的日志发送至 腾讯云日志服务 CLS、消息队列 CKafka 版。日志采集功能适用于需要对 Kubernetes 集群内服务日志进行存储和分析的用户。
  • 日志分析可查看基于登录账号的云防火墙在过去6个月所存储的全部流量日志详情,同时日志分析支持基于检索语句的日志检索与查询,并提供报表与统计分析服务。本文档将为您介绍如何使用日志分析功能。
  • 日志审计为您提供云上的统一安全日志审计与检索调查平台,包含主机安全告警、Web 应用防火墙告警、DDoS 防护告警、云防火墙告警、SaaS 型堡垒机告警、传统型堡垒机告警、安全运营中心告警和网络入侵检测告警等安全相关日志数据,您可根据实际不同安全场景按需进行检索调查和日志投递。
  • 功能简介: Web 应用防火墙 日志投递功能用于将日志数据投递到 CKafka(消息队列)等其他云产品或者服务中,助力挖掘日志数据价值,满足用户日志运维诉求。日志投递支持当前 WAF 引擎采集到日志服务的全部访问日志字段数据,用户只需要在 WAF 控制台进行简单的配置,即可完成访问日志数据准实时投递服务。
  • 背景: 为了给您提供更稳定可靠的服务,建议切换为新的支撑路由。 影响: 因为需要更新⽣产、消费端的 bootstrap-server 地址,并且重启服务, 所以这⾥会影响业务的⽣产、消费短暂性中断。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部