上云无忧 > 文档中心 > 天翼云数据治理中心 DataArts Studio 数据开发 - 开发作业
数据治理中心 DataArts Studio
天翼云数据治理中心 DataArts Studio 数据开发 - 开发作业

文档简介:
本章节主要介绍数据开发部分的开发作业。 对已新建的作业进行开发和配置。 前提条件: 已新建作业。 当前用户已锁定该作业,否则需要通过“抢锁”锁定作业后才能继续开发作业。新建或导入作业后默认被当前用户锁定,详情参见提交版本并解锁章节中的“编辑锁定”功能。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

对已新建的作业进行开发和配置。

前提条件

  • 已新建作业。
  • 当前用户已锁定该作业,否则需要通过“抢锁”锁定作业后才能继续开发作业。新建或导入作业后默认被当前用户锁定,详情参见提交版本并解锁章节中的“编辑锁定”功能。

编排作业节点

  1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。

详见下图:选择数据开发

  1. 在数据开发主界面的左侧导航栏,选择“数据开发 > 作业开发”。
  2. 在作业目录中,双击Pipeline模式批处理作业或实时处理作业的名称,进入作业开发页面。
  3. 拖动所需的节点至画布,鼠标移动到节点图标上,选中连线图标并拖动,连接到下一个节点上。
说明

每个作业建议最多包含200个节点。

详见下图:编排作业

  1. 配置节点功能。右键单击画布中的节点图标,根据实际需要选择如行表所示的功能。

右键节点功能

功能 说明
配置 进入该节点的“节点属性”页面。
删除 支持删除一个节点或同时删除多个节点。
单节点删除:右键单击画布中的节点图标,选择删除或按快捷键Delete
多节点删除:按下键盘中的Ctrl,单击画布中需要删除的节点图标,在当前作业画布空白处单击右键,选择删除或按快捷键Delete
复制 支持复制一个或多个节点至任意作业中:
单节点复制:右键单击画布中的节点图标,选择复制或按快捷键Ctrl+C,在作业画布空白处粘贴节点或按快捷键Ctrl+V,复制后的节点携带原节点的配置信息。
多节点复制:按下键盘中的Ctrl,单击画布中需要复制的节点图标,在当前作业画布空白处单击右键选择复制或按快捷键Ctrl+C,在目标作业画布空白处粘贴或按快捷键Ctrl+V。复制后的节点携带原节点的配置信息,但不包含节点间的连接关系。
测试运行 测试运行该节点。
从当前节点测试运行 仅在批作业下显示该选项。选择“从当前节点测试运行”,则测试运行当前节点以及后续节点。
添加/删除连线 可以选择为两个不同的节点添加或删除连线,
编辑CDM作业 仅CDM Job节点显示该选项。选择CDM集群和作业后,可以跳转到CDM作业编辑页面,进行作业修改。
查看CDM作业日志 仅CDM Job节点显示该选项。当CDM作业运行后,右键选中CDM Job节点,单击“查看CDM日志”,可以跳转到作业监控页面,查看作业日志打印的详细信息,帮助开发者定界定位作业运行异常原因。
编辑脚本 仅关联了脚本的节点显示该选项。跳转到脚本编辑页面,对关联的脚本进行编辑。
添加便签 为该节点添加便签,每个节点可以有多个便签。
  1. (可选)配置连线功能。右键单击画布中的节点间连线,显示“删除”和“设置条件”功能,您可以根据实际需要进行选择。

− 删除:可以删除节点间的连线。

− 设置条件:在弹出的窗口中,您可以通过EL表达式语法填写三元表达式。当三元表达式结果为true的时候,才会执行连线后面的节点,否则后续节点将被跳过。

如下图所示,是一个典型的三元表达式。当“DQM”节点的运行结果为true时,才会执行连线后的节点。当运行结果为false时,如果失败策略为“跳过所有节点”,则该连线后面的节点A以及A后的所有节点均会被跳过。

关于EL表达式的语法,您可以查看 表达式概述。

  1. 请参见节点概述配置具体节点的属性。
  2. 配置节点属性。单击画布中的节点,在右侧显示“节点属性”页签,默认展开此配置页面,请参见节点概述配置具体节点的属性。

配置作业基本信息

为作业配置责任人、优先级信息后,用户可根据责任人、优先级来检索相应的作业。操作方法如下:

单击画布右侧“作业基本信息”页签,展开配置页面,配置如下表所示的参数。

作业基本信息

参数 说明
作业责任人 自动匹配创建作业时配置的作业责任人,此处支持修改。
执行用户 执行作业的用户。如果输入了执行用户,则作业以执行用户身份执行;如果没有输入执行用户,则以提交作业启动的用户身份执行。
作业委托 配置委托后,作业执行过程中,以委托的身份与其他服务交互。
作业优先级 自动匹配创建作业时配置的作业优先级,此处支持修改。
实例超时时间 配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实例执行时间超过超时时间,将触发异常通知,发送消息给用户。
自定义字段 配置自定义字段的参数名称和参数值。
作业标签 配置作业的标签,用以分类管理作业。单击“新增”,可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。

配置作业参数

作业参数为全局参数,可用于作业中的任意节点。操作方法如下:

单击画布的空白处,在右侧显示“作业参数配置”页签,单击此页签,展开配置页面,配置如下表示的参数。

作业参数配置

功能 说明
参数
新增 单击“新增”,在文本框中填写作业参数的名称和参数值。
参数名称
名称只能包含字符:英文字母、数字、中划线和下划线。
参数值
− 字符串类的参数直接填写字符串,例如:str1
− 数值类的参数直接填写数值或运算表达式。
参数配置完成后,在作业中的引用格式为:${参数名称}
修改 在参数名和参数值的文本框中直接修改。
掩码显示 在参数值为密钥等情况下,从安全角度,请单击将参数值掩码显示。
删除 在参数值文本框后方,单击,删除作业参数。
常量
新增 单击“新增”,在文本框中填写作业常量的名称和参数值。
参数名称
名称只能包含字符:英文字母、数字、中划线和下划线。
参数值
− 字符串类的参数直接填写字符串,例如:str1
− 数值类的参数直接填写数值或运算表达式。
参数配置完成后,在作业中的引用格式为:${参数名称}
修改 在参数名和参数值的文本框中直接修改,修改完成后,请保存。
删除 在参数值文本框后方,单击,删除作业常量。

调测并保存作业

作业编排和配置完成后,请执行以下操作:

批处理作业

  1. 单击画布上方的测试运行按钮,测试作业。
  2. 测试完成后,单击画布上方的保存按钮,保存作业的配置信息。如果测试未通过请按照提示修改后再次运行。

实时处理作业

单击画布上方的保存按钮,保存作业的配置信息。

相似文档
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部