上云无忧 > 文档中心 > 天翼云数据治理中心 DataArts Studio 数据开发 - 新建作业
数据治理中心 DataArts Studio
天翼云数据治理中心 DataArts Studio 数据开发 - 新建作业

文档简介:
本章节主要介绍作业开发的新建作业。 作业由一个或多个节点组成,共同执行以完成对数据的一系列操作。开发作业前请先新建作业。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

作业由一个或多个节点组成,共同执行以完成对数据的一系列操作。开发作业前请先新建作业。

前提条件

作业在每工作空间的最大配额为10000,请确保当前作业的数量未达到最大配额。

新建目录(可选)

如果已存在可用的目录,可以不用新建目录。

  1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。

详见下图:选择数据开发

  1. 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。
  2. 在作业目录中,右键单击目录名称,选择“新建目录”。
  3. 在弹出的“新建目录”页面,配置如下表所示的参数。

作业目录参数

参数 说明
目录名称 作业目录的名称,只能包含英文字母、数字、中文字符、“_”、“-”,且长度为1~64个字符。
选择目录 选择该作业目录的父级目录,父级目录默认为根目录。
  1. 单击“确定”,新建目录。

新建作业

默认作业的最大配额是10000,请确保当前作业的数量未达到最大配额。

  1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。

详见下图:选择数据开发

  1. 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。
  2. 新建作业的方式有如下两种:

a.在“作业开发”界面中,单击“新建作业”。

详见下图:新建作业(方式一)

b.在作业目录中,右键单击目录名称,选择“新建作业”。

详见下图:新建作业(方式二)

  1. 在弹出的“新建作业”页面,配置如下表所示的参数。

作业参数

参数 说明
作业名称 自定义作业的名称,只能包含英文字母、数字、中文、“-”、“_”、“.”,且长度为1~128个字符。
作业类型 选择作业的类型。
批处理作业:按调度计划定期处理批量数据,主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线,以流水线作为一个整体被调度。被调度触发后,任务执行一段时间必须结束,即任务不能无限时间持续运行。批处理作业可以配置作业级别的调度任务,即以作业为一整体进行调度,具体请参见调度作业章节中的“配置作业调度任务(批处理作业)”。
实时处理作业:处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的业务关系,每个节点可单独被配置调度策略,而且节点启动的任务可以永不下线。在实时作业里,带箭头的连线仅代表业务上的关系,而非任务执行流程,更不是数据流。实时处理作业可以配置节点级别的调度任务,即每一个节点可以独立调度,具体请参见调度作业章节中的 配置节点调度任务(实时作业)。
创建方式 选择作业的创建方式。
创建空作业:创建一个空的作业。
基于模板创建:使用数据开发模块提供的模板来创建。
选择目录 选择作业所属的目录,默认为根目录。
责任人 填写该作业的责任人。
作业优先级 选择作业的优先级,提供高、中、低三个等级。
委托配置 配置委托后,作业执行过程中,以委托的身份与其他服务交互。若该工作空间已配置过委托,参见配置委托章节中的“配置工作空间级委托”,则新建的作业默认使用该工作空间级委托。您也可参见配置委托章节中的“配置作业级委托”,修改为作业级委托。
说明
作业级委托优先于工作空间级委托。
日志路径 选择作业日志的OBS存储路径。日志默认存储在以dlf-log-{Projectid}命名的桶中。
说明
若您想自定义存储路径,请选择您已在OBS服务侧创建的桶。
请确保您已具备该参数所指定的OBS路径的读、写权限,否则系统将无法正常写日志或显示日志。
  1. 单击“确定”,创建作业。
相似文档
  • 本章节主要介绍数据开发部分的开发作业。 对已新建的作业进行开发和配置。 前提条件: 已新建作业。 当前用户已锁定该作业,否则需要通过“抢锁”锁定作业后才能继续开发作业。新建或导入作业后默认被当前用户锁定,详情参见提交版本并解锁章节中的“编辑锁定”功能。
  • 本章节主要介绍作业开发中的调度作业。 对已编排好的作业设置调度方式。 如果您的作业是批处理作业,您可以配置作业级别的调度任务,即以作业为一个整体进行调度,支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见下方“配置作业调度任务(批处理作业)”。
  • 本章节主要介绍作业开发的 提交版本并解锁。 提交版本并解锁,涉及到数据开发的版本管理和编辑锁定功能。 版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近10条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。
  • 本章节主要介绍(可选)管理作业的复制作业。 本章节主要介绍如何复制一份作业。 前提条件: 已完成作业开发。如何开发作业,请参见开发作业。
  • 本章节主要介绍(可选)管理作业的复制名称和重命名作业。 您可以通过复制名称功能复制当前作业名称,通过重命名功能修改当前作业名称。 前提条件: 已完成作业开发。如何开发作业,请参见开发作业。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部