离线作业组创建
点击新建按钮,弹出【新建作业】弹窗。输入离线作业名称。
点击【确定】。在【任务开发】列表中,显示创建任务。并在离线作业组页面显示支持的作业节点类型。
离线作业组的编辑
离线作业的编排目前支持两种大类的作业。一种为可视化作业,另一种为脚本作业。后续支持类型会进行扩展。
可视化作业包括:可视化。
脚本作业包括:Shell、Python、Spark、HIVE SQL、JDBC SQL。
用户拖拽某种类型节点到开发界面中。
点击节点,进行作业节点的配置。
此处的配置为引用的形式,将在【可视化开发】或者【脚本开发】中开发好的任务进行引用。
同时,用户可以对节点进行调度相关设置。
【最长执行时间】作业运行的时间上限,当超过这个时间上限后,作业失败。
【做大并行作业数】作业并行运行时的最大并行作业数量。
【失败重试】作业执行失败后重试的次数,以及每次重试之间的时间间隔。
【设置依赖节点】本节点依赖其他任务节点。只有当被依赖节点执行成功之后,此节点才会被执行。
【优先级设置】作业节点的优先级。平台一共分为5级优先级。1-5,数字越高优先级越高。当在同一层级的任务,优先执行优先级高的作业。
可以拖拽多个节点。将多个节点之间建立相互的依赖关系。组成有向无环的DAG图。作业组按照此DAG图进行作业间的相互执行。
离线作业组的配置
开发完离线作业组之后,点击【基本信息】,显示作业组的基本信息,并能够进行描述修改。
点击【参数设置】,弹出作业组的参数设置。设置的参数可以在作业组中的作业进行引用。
如果作业组和作业设置了同名的参数,则作业中设置的参数优先级高于作业组中设置的参数。
点击【资源设置】弹出作业组中资源设置框,对作业组进行资源设置。
在作业中设置的资源仅支持在测试中使用。在作业组中作业周期性运行的时候,使用作业组中设置的资源。
点击【调度设置】,弹出作业组调度设置框,对作业组进行调度设置。设置好周期性调度之后,当作业发布之后,调度即可使用周期。
依赖项目为当前作业组设置依赖其他项目的作业组,当其他作业组完成之后才能出发当前作业组的运行。
执行计划分为基本设置和crontab设置。基本设置已可视化的形式设置周期性调度。cronTab已表达式的形式来进行功能设置。
最大并发数:当作业并行执行时,允许并行最大数量。
失败策略:当作业组内某个作业节点失败时,指定失败策略。继续—作业节点失败后下游任务继续运行。挂起---作业节点失败后,作业组被挂起,下游不继续执行。
终止---作业节点失败后,作业组终止,下游不继续执行。
离线作业组的保存及测试运行
开发完实时作业后点击,上面【保存】按钮,进行作业保存。
点击【发布】即将作业发布到运维中心。
点击【执行】,进行作业测试运行,且在【执行信息】中弹出执行日志信息。