上云无忧 > 文档中心 > 腾讯云批量计算 Batch 的优势
批量计算 Batch
腾讯云批量计算 Batch 的优势

文档简介:
作业: 作业(Job)是用户提交批处理工作的最小单位,它由单个或多个有前后依赖关系的任务组成。可以通过非常易用的 DAG 语法,来给多个批处理任务设置依赖关系,共同组成一个作业,然后依次执行各个任务,直到所有任务完成,即作业完成。
*此产品及展示信息均由腾讯云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠
您可通过以下视频了解批量计算的相关名词及简要工作流程:

作业

作业(Job)是用户提交批处理工作的最小单位,它由单个或多个有前后依赖关系的任务组成。可以通过非常易用的 DAG 语法,来给多个批处理任务设置依赖关系,共同组成一个作业,然后依次执行各个任务,直到所有任务完成,即作业完成。任务间的依赖关系只能在作业提交时指定,提交完成后不能进行修改。

任务

任务(Task)是作业的基本组成单位,包含了实际在一台云服务器上执行的应用程序的相关信息。Batch 调度系统根据用户提交的配置,自动创建 CVM,安装镜像,执行程序。任务不可以直接提交,必须放入一个作业后才可以提交执行,作业支持放置单个任务,也可以放置多个任务。
任务最核心的可配置属性如下:
CVM 实例配置 :任务是执行在 CVM 上的,您需要根据您计算任务的特性,去配置 CVM 实例的类型和配置,例如选择计算型实例(C2)还是高IO型实例(IO2)、内存和磁盘大小、实例所处于的 VPC 网络等。
执行环境:包含镜像和命令配置,镜像一般是自定义镜像,里面包含您的应用程序和它所依赖的环境,而命令则指定如何启动这些应用程序来进行计算。
远程存储映射:支持将远程存储地址映射到本地文件系统地址,目前支持 COS,详细见后面单独名词解释。
标准输出:您可以配置标准输出的映射地址(COS),应用程序里输出到 stdout 和 stderr 的信息将会在任务完成后被上传到对应地址,这样可以在任务完成后回溯计算过程。

任务模板

可以将常用的任务制作成任务模板,基于任务模板定制不同的任务,实现作业的快速提交。

远程存储映射

存储映射即将远程存储地址(对象存储 COS 或文件存储 CFS)映射到 CVM 的本地文件系统,这样可以操作本地文件系统的方式来读写远程存储。

任务实例

任务实例是 Batch 调度和执行的最小单元。一个任务包含单个或多个任务实例。每一个任务实例运行在一台 CVM 实例上,执行相应的计算任务。您可以在任务配置里设置需要并发执行的实例数目,Batch 会在任务被启动时以同样的配置调度指定数目的实例,您可以在执行程序里通过环境变量来区分这些实例。
多实例的典型运用场景是输入数据可切割然后并行处理的场景,这样可以充分的运用云上弹性资源的优势进行并行计算,提高工作效率。

镜像

镜像(Image)配置在任务里,创建实例时使用,它必须是一个标准的或者自定义的 CVM 镜像,您需要预先将计算环境和应用程序准备好并制作成自定义镜像,您可以在 镜像控制台 查看您的自定义镜像,如何制作自定义镜像请参见 创建自定义镜像

计算环境

计算环境(ComputeEnv)是由单台或多台 CVM 实例组成的计算集群,可根据业务需求扩容或缩容。当任务配置指定了计算环境,任务实例会调度到指定计算环境的节点上执行;当没有指定计算环境时,Batch 会创建 CVM 实例用于执行任务实例,并默认在任务实例完成后销毁 CVM 实例。
相似文档
  • 云服务器配额限制: Batch 在执行作业过程中可能会用到按量计费和竞价实例模式的云服务器(CVM),云服务器会对用户在不同可用区下可同一时间持有的云服务器数量做限制,详情请参见 购买按量计费云服务器实例限制。
  • 数据私密性: 批量计算服务对计算环境、作业和任务模板中涉及到的敏感元数据进行加密,密文持久化存储在云数据库服务中。 数据知情权: 使用批量计算服务过程中,经过计算产生的数据存放在云硬盘、消息队列、对象存储和文件存储等云存储产品中。
  • 批量计算服务本身完全免费。 批量计算调度作业过程中会根据用户配置创建云服务器 CVM 实例,创建的 CVM 实例以 CVM 按量计费模式收费,相关资费的详情可以查看 CVM 购买页 或者 CVM 实例价格 中的按量计费部分。
  • 步骤1:创建腾讯云账号。 如果您还没有腾讯云账号,请登录到 腾讯云官方网站,单击右上角的注册创建腾讯云账号,详情可参见文档 如何注册腾讯云。
  • 操作场景: 本文介绍如何使用命令行 TCCLI 来提交一个简单的作业,文中示例为使用 Python 实现对斐波那契数列求和。Python 代码由任务中 Application 参数的 Command 字段指定,返回结果直接输出到任务配置的 stdout 输出地址。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部