上云无忧 > 文档中心 > 天翼云数据治理中心 DataArts Studio 数据开发 - 作业开发流程
数据治理中心 DataArts Studio
天翼云数据治理中心 DataArts Studio 数据开发 - 作业开发流程

文档简介:
本章节主要介绍作业开发的作业开发流程。 作业开发功能提供如下能力: 提供图形化设计器,支持拖拉拽方式快速构建数据处理工作流。 预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型,通过任务间依赖完成复杂数据分析处理。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

作业开发功能提供如下能力:

  • 提供图形化设计器,支持拖拉拽方式快速构建数据处理工作流。
  • 预设数据集成、计算&分析、资源管理、数据监控、其他等多种任务类型,通过任务间依赖完成复杂数据分析处理。
  • 支持多种作业调度方式。
  • 支持导入和导出作业。
  • 支持作业状态运维监控和作业结果通知。
  • 提供编辑锁定能力,支持多人协同开发场景。
  • 支持作业的版本管理能力。

开发作业前,您可以通过下图了解数据开发模块作业开发的基本流程。

作业开发流程

  1. 新建作业:当前提供两种作业类型:批处理和实时处理,分别应用于批量数据处理和实时连接性数据处理,具体请参见新建作业。
  2. 开发作业:基于新建的作业,进行作业开发,您可以进行编排、配置节点。具体请参见开发作业。
  3. 调度作业:配置作业调度任务。具体请参见调度作业。

− 如果您的作业是批处理作业,您可以配置作业级别的调度任务,即以作业为一个整体进行调度,支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见调度作业章节中的“配置作业调度任务(批处理作业)”。

− 如果您的作业是实时处理作业,您可以配置节点级别的调度任务,即每一个节点可以独立调度,支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见调度作业章节中的“配置节点调度任务(实时作业)”。

  1. 提交版本并解锁:作业调度配置完成后,您需要提交版本并解锁,提交版本并解锁后才能用于调度运行,便于其他开发者修改。具体请参见提交版本并解锁。
  2. (可选)管理作业:作业开发完成后,您可以根据需要,进行作业管理。具体请参见(可选)管理作业。
相似文档
  • 本章节主要介绍作业开发的新建作业。 作业由一个或多个节点组成,共同执行以完成对数据的一系列操作。开发作业前请先新建作业。
  • 本章节主要介绍数据开发部分的开发作业。 对已新建的作业进行开发和配置。 前提条件: 已新建作业。 当前用户已锁定该作业,否则需要通过“抢锁”锁定作业后才能继续开发作业。新建或导入作业后默认被当前用户锁定,详情参见提交版本并解锁章节中的“编辑锁定”功能。
  • 本章节主要介绍作业开发中的调度作业。 对已编排好的作业设置调度方式。 如果您的作业是批处理作业,您可以配置作业级别的调度任务,即以作业为一个整体进行调度,支持单次调度、周期调度、事件驱动调度三种调度方式。具体请参见下方“配置作业调度任务(批处理作业)”。
  • 本章节主要介绍作业开发的 提交版本并解锁。 提交版本并解锁,涉及到数据开发的版本管理和编辑锁定功能。 版本管理:用于追踪脚本/作业的变更情况,支持版本对比和回滚。系统最多保留最近10条的版本记录,更早的版本记录会被删除。另外,版本管理还可用于区分开发态和生产态,这两种状态隔离,互不影响。
  • 本章节主要介绍(可选)管理作业的复制作业。 本章节主要介绍如何复制一份作业。 前提条件: 已完成作业开发。如何开发作业,请参见开发作业。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部