上云无忧 > 文档中心 > 百度智能云函数计算 CFC 工作流的应用场景
函数计算CFC
百度智能云函数计算 CFC 工作流的应用场景

文档简介:
工作流主要用来协调分布式应用以构建复杂的、多步骤的、有状态的(Stateful)和长时间运行的业务流程。 ETL数据处理流水线: 一些数据处理系统中,常常需要周期性/计划性地处理庞大的数据量,使用工作流可以快速搭建一个高可用的数据处理流水线。例如,专注L4级别无人驾驶技术研发的企业在进行无人驾驶技术研发依赖大量的路测试验数据积累,高效进行路测、快速对路测数据进行处理来指导模型的更新迭代是这类场景的核心诉求。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

工作流主要用来协调分布式应用以构建复杂的、多步骤的、有状态的(Stateful)和长时间运行的业务流程。

ETL数据处理流水线

一些数据处理系统中,常常需要周期性/计划性地处理庞大的数据量,使用工作流可以快速搭建一个高可用的数据处理流水线。例如,专注L4级别无人驾驶技术研发的企业在进行无人驾驶技术研发依赖大量的路测试验数据积累,高效进行路测、快速对路测数据进行处理来指导模型的更新迭代是这类场景的核心诉求。路测过程中会有大量数据产生,而对这些数据的处理流程则复杂多变,即使对于同一批数据,不同的业务小组也会有不同的使用及处理方式。使用工作流可以有效管理不同的数据处理流程,降低人为介入频率,降低成本。

多媒体文件处理

工作流同样适用多任务编排,比如多媒体文件如转码、截帧、人脸识别、语音识别、审核上传等各类处理。用户可以编排成一个完整的处理流程,通过函数计算提交媒体处理任务(或自建处理云函数),产出一个符合业务需求的输出。各任务的执行错误异常可以被可靠的重试,大大提升多媒体任务处理吞吐量。

自动化运维

自动化运维常见有步骤繁琐、时间长短不一、单机脚本可靠性低、依赖复杂、人工效率低等常见的挑战,另外进度无法可视化。工作流可以很好的解决这类问题。例如自动化的软件部署从构建 Docker 容器、上传容器镜像,开始并追踪各节点下拉镜像并启动新版本镜像的容器,每一步云函数产生的日志会被保存到日志服务可供查询分享。基于工作流的自动化运维比单机运维脚本具有高可用、自带的错误处理机制和进度图形化的特点。

机器学习模型训练

机器学习中常常要对模型进行训练,模型训练一般过程为:首先读取原始训练数据;对原始数据进行数据处理如数据清洗等;对数据进行转换;提交数据到机器学习平台进行模型训练;模型训练完毕后得到模型参数数据;应用模型进行预测测试模型效果。整个模型训练的过程可以使用工作流来完成任务编排。

相似文档
  • 流程(Flow): 定义了业务逻辑描述以及流程执行所需要的通用信息。 流程定义语言(Flow Definition Language,简称FDL): 流程定义语言是一种结构化的语言,用来描述和定义业务逻辑,用户通过流程定义语言定义流程(Flow),在执行流程时,工作流服务会根据流程定义依次执行相关节点。
  • 创建工作流: 本示例演示从头创建工作流,有关工作流的概念请参考工作流基本概念。 1.在工作流管理页面,点击“创建工作流”,完成填写新建工作流的信息和创建。 工作流名称:您可以指定自己的工作流,只能由数字、字母、-或_组成,必须以字母或_开头,长度小于64个字符。 描述:您可以填写对创建工作流的详细描述。
  • 流程定义语言是一种基于 YAML 的结构化语言,用于定义状态机、节点,包括负责执行的 operation 节点,决定下一跳的 switch 节点,停止执行并抛出错误的 fail 节点等各类节点,这些节点组合起来可以构建复杂的业务逻辑。
  • 工作流开始运行时,会接收用户指定的输入数据,并将数据传递至工作流的开始节点,即 start 所指向的节点。在后续的执行中,每个节点都接收上一个节点的输出作为自己的输入,并在执行结束后,继续将自己的输出传给下一个节点。所有的输入输出数据均为 JSON 格式。本节将为您介绍如何处理节点的输入输出数据。
  • pass 节点用于数据的生成和传递,可用来在初始构建阶段提前占位,或通过修改输出调试工作流。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部