上云无忧 > 文档中心 > 百度智能云数据湖管理与分析平台EasyDAP - 离线作业组开发
数据湖管理与分析平台EasyDAP
百度智能云数据湖管理与分析平台EasyDAP - 离线作业组开发

文档简介:
离线作业组创建: 点击新建按钮,弹出【新建作业】弹窗。输入离线作业名称。 点击【确定】。在【任务开发】列表中,显示创建任务。并在离线作业组页面显示支持的作业节点类型。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

离线作业组创建

点击新建按钮,弹出【新建作业】弹窗。输入离线作业名称。

点击【确定】。在【任务开发】列表中,显示创建任务。并在离线作业组页面显示支持的作业节点类型。

离线作业组的编辑

离线作业的编排目前支持两种大类的作业。一种为可视化作业,另一种为脚本作业。后续支持类型会进行扩展。

可视化作业包括:可视化。

脚本作业包括:Shell、Python、Spark、HIVE SQL、JDBC SQL。

用户拖拽某种类型节点到开发界面中。

点击节点,进行作业节点的配置。

此处的配置为引用的形式,将在【可视化开发】或者【脚本开发】中开发好的任务进行引用。 

同时,用户可以对节点进行调度相关设置。

【最长执行时间】作业运行的时间上限,当超过这个时间上限后,作业失败。

【做大并行作业数】作业并行运行时的最大并行作业数量。

【失败重试】作业执行失败后重试的次数,以及每次重试之间的时间间隔。

【设置依赖节点】本节点依赖其他任务节点。只有当被依赖节点执行成功之后,此节点才会被执行。

【优先级设置】作业节点的优先级。平台一共分为5级优先级。1-5,数字越高优先级越高。当在同一层级的任务,优先执行优先级高的作业。

可以拖拽多个节点。将多个节点之间建立相互的依赖关系。组成有向无环的DAG图。作业组按照此DAG图进行作业间的相互执行。

离线作业组的配置

开发完离线作业组之后,点击【基本信息】,显示作业组的基本信息,并能够进行描述修改。

点击【参数设置】,弹出作业组的参数设置。设置的参数可以在作业组中的作业进行引用。

如果作业组和作业设置了同名的参数,则作业中设置的参数优先级高于作业组中设置的参数。

点击【资源设置】弹出作业组中资源设置框,对作业组进行资源设置。

在作业中设置的资源仅支持在测试中使用。在作业组中作业周期性运行的时候,使用作业组中设置的资源。

点击【调度设置】,弹出作业组调度设置框,对作业组进行调度设置。设置好周期性调度之后,当作业发布之后,调度即可使用周期。

依赖项目为当前作业组设置依赖其他项目的作业组,当其他作业组完成之后才能出发当前作业组的运行。

执行计划分为基本设置和crontab设置。基本设置已可视化的形式设置周期性调度。cronTab已表达式的形式来进行功能设置。

最大并发数:当作业并行执行时,允许并行最大数量。

失败策略:当作业组内某个作业节点失败时,指定失败策略。继续—作业节点失败后下游任务继续运行。挂起---作业节点失败后,作业组被挂起,下游不继续执行。

终止---作业节点失败后,作业组终止,下游不继续执行。

离线作业组的保存及测试运行

开发完实时作业后点击,上面【保存】按钮,进行作业保存。

点击【发布】即将作业发布到运维中心。

点击【执行】,进行作业测试运行,且在【执行信息】中弹出执行日志信息。

相似文档
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部