上云无忧 > 文档中心 > 腾讯云云函数实战教程 - SCF + Ckafka 实现消息数据自定义处理并投递至 COS | 函数测试
云函数 SCF
腾讯云云函数实战教程 - SCF + Ckafka 实现消息数据自定义处理并投递至 COS | 函数测试

文档简介:
注意: 如果您还未将实际数据接入消息队列 Ckafka,您可以通过 客户端工具 模拟消息生产。
*此产品及展示信息均由腾讯云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠
注意
如果您还未将实际数据接入消息队列 Ckafka,您可以通过 客户端工具 模拟消息生产。

检查 Consumer Group

登录 Ckafka 控制台,并在 “Consumer Group” 中检查消费组是否生成。 如下图所示:

是,表示部署成功。
否,表示部署失败,请 提交工单 反馈。

检查执行状态

触发器生效后,切换至 Serverless 控制台,查看函数的运行日志。如下图所示:

检查 Ckafka 消息

1. 切换至 对象存储 COS 的控制台,查看对应的 bucket 下是否有文件生成。
是,执行下一步。
否,表示部署失败,请 提交工单 反馈。
2. 下载并查看新生成的文件,确认 Ckafka 的消息是否已按照换行写入。如下图所示:

是,表示部署成功。
否,表示部署失败,请 提交工单 反馈。

调整函数代码

本示例根据触发器配置的最大批量消息数触发云函数运行。
说明
如果生产的消息数很多,且不想在 COS bucket 中生成过多的文件,可在云函数中使用 COS 的 SDK,以追加写入的方式减少文件数量。
云函数运行的操作流程如下:
1. 创建一个名称格式为 “时间戳+随机数” 的文本文件,例如2018-11-22-20:43:55-127.txt。
2. 将拉取到的 Ckafka 消息换行写入文本文件中。
3. 将写好的文件上传到 COS bucket,并以小时为单位在 COS bucket 中创建文件夹。
相似文档
  • 操作场景: 随着 Kafka 社区的繁荣,越来越多的用户开始使用 Kafka 来进行日志收集、大数据分析、流式数据处理等操作。而腾讯云消息队列 Ckafka 也借助了开源社区的力量,进行了如下优化: 基于 ApacheKafka 的分布式、高可扩展、高吞吐。 100%兼容 Apache KafkaAPI(0.9及0.10)。
  • 通过函数处理服务,可以快速完成云服务器 CVM 等云上资源的运行日志采集、ETL(Extraction-Transformation-Loading)加工和消息转储等复杂日志处理任务。函数处理为异步过程,凡是收集到日志服务的数据,均能通过配置将数据投递到云函数进行消费处理,您只需要在日志服务控制台进行简单的配置即可完成日志服务 CLS 对接云函数消费。
  • 操作场景: 本文为您介绍使用 云函数 SCF 对 CLS 日志进行加工处理。其中,CLS 主要用于日志采集,SCF 主要提供数据加工的节点计算能力。
  • 操作场景: 本文为您介绍如何通过云函数 SCF 将 CLS 日志转储至消息队列 Ckafka。其中,CLS 主要用于日志采集,SCF 主要提供数据加工的节点计算能力,Ckafka 主要提供数据流终端转储能力。数据处理流程图请参见 函数处理概述。
  • 操作场景: 本文为您介绍如何通过云函数 SCF 将 CLS 日志转储至对象存储 COS。其中,CLS 主要用于日志采集,SCF 主要提供数据加工的节点计算能力,COS 主要提供终端永久性存储能力。数据处理流程图请参见 函数处理概述。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部