上云无忧 > 文档中心 > 天翼云数据治理中心 DataArts Studio 数据开发 - 批作业监控
数据治理中心 DataArts Studio
天翼云数据治理中心 DataArts Studio 数据开发 - 批作业监控

文档简介:
本章节主要介绍作业监控的批作业监控。 批作业监控提供了对批处理作业的状态进行监控的能力。 批处理作业支持作业级别的调度计划,可以定期处理批量数据,主要用于实时性要求低的场景。批作业是是由一个或多个节点组成的流水线,以流水线作为一个整体被调度。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

批作业监控提供了对批处理作业的状态进行监控的能力。

批处理作业支持作业级别的调度计划,可以定期处理批量数据,主要用于实时性要求低的场景。批作业是是由一个或多个节点组成的流水线,以流水线作为一个整体被调度。被调度触发后,任务执行一段时间必须结束,即任务不能无限时间持续运行。

您可以在“作业监控 > 批作业监控”页面查看批处理作业的调度状态、调度频率、调度开始时间等信息,以及进行如下表所示的操作。

详见下图:批作业监控

批作业监控支持的操作项

序号 支持的操作项 说明
1 根据“作业名”或“责任人名”搜索作业 -
2 根据“作业是否配置通知”、“调度状态”、“作业标签”或“下次计划时间”范围,筛选作业 -
3 批量配置作业 通过勾选作业名称前的复选框,支持批量执行操作。
4 查看作业实例状态 单击作业名称前方的下拉箭.png,显示“最近的实例”页面,查看该作业最近的实例信息。
5 查看作业的节点信息 单击作业名称,在打开的页面中点击作业节点,查看该节点的相关关联作业/脚本与监控信息。
6 调度作业相关 在作业的“操作”列,支持执行调度、暂停调度、恢复调度、停止调度、调度配置等,详情请参见批作业监控章节中的“调度作业”。
7 通知设置 在作业的“操作”列,选择“更多 > 通知设置”,弹出“新建通知”页面,参考管理通知章节中的通知参数表。
8 实例监控 在作业的“操作”列,选择“更多 > 实例监控”,跳转到实例监控页面,查看该作业所有实例的运行记录。
9 补数据 在作业的“操作”列,选择“更多 > 补数据”,弹出“补数据”对话框,详情请参见批作业监控章节中的“补数据”。
10 添加作业标签 在作业的“操作”列,选择“更多 > 添加作业标签”,弹出“添加作业标签”对话框,详情请参见批作业监控:添加作业标签。

批作业监控:调度作业

作业开发完成后,用户可以在“作业监控”页面中管理作业的调度任务,例如:执行调度、暂停调度、恢复调度、停止调度。

详见下图:调度作业

  1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。

详见下图:选择数据开发

  1. 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。
  2. 单击“批作业监控”页签,进入批作业的监控页面。
  3. 在作业的“操作”列,单击“执行调度”/“暂停调度”/“恢复调度”/“停止”。

如果该批处理作业设置有依赖的作业,执行调度该作业时可以设置为只启动当前作业或同时启动依赖的作业。如何配置依赖作业,请参见调度作业章节中的“配置作业调度任务(批处理作业)”。

详见下图:启动作业

批作业监控:补数据

补数据是指作业执行一个调度任务,在过去某一段时间里生成一系列的实例。用户可以通过补数据,修正历史中出现数据错误的作业实例,或者构建更多的作业记录以便调试程序等。

只有配置了周期调度的作业,才支持使用该功能。如需查看补数据的执行情况,请参见补数据监控。

说明

当作业正在补数据时,请勿修改作业配置,否则会影响补数据过程中生成的作业实例。

  1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。

详见下图:选择数据开发

  1. 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。
  2. 单击“批作业监控”页签,进入批作业的监控页面。
  3. 在作业的“操作”列,选择“更多 > 补数据”。
  4. 弹出“补数据”对话框,配置如下表所示的参数。

详见下图:补数据参数

参数说明

参数 说明
补数据名称 系统自动生成一个补数据的任务名称,允许修改。
作业名称 显示需要补数据的作业名称。
业务日期 选择需要补数据的时间段。
说明
一个作业可进行多次补数据。但多次补数据的业务日期需要避免交叉重叠,否则可能导致数据重复或混乱,用户请谨慎操作。
并行周期数 设置同时执行的实例数量,最多可同时执行5个实例。
说明
请根据实际情况配置并行周期数,例如CDM作业实例,不可同时执行补数据操作,并行周期数只可设置为1。
需要补数据的下游作业 选择需要补数据的下游作业(指依赖于当前作业的作业),支持多选。
  1. 单击“确定”,开始补数据,并进入“补数据监控”页面。

批作业监控:添加作业标签

支持给作业添加标签,便于作业实例的筛选分类。

  1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。

详见下图:选择数据开发

  1. 在数据开发主界面的左侧导航栏,选择“运维调度 > 作业监控”。
  2. 单击“批作业监控”页签,进入批作业的监控页面。
  3. 在作业的“操作”列,选择“更多 > 添加作业标签”。
  4. 弹出“添加作业标签”对话框,填写需要配置的作业标签。

详见下图:添加作业标签参数

  1. 填写完标签后,单击“确认”,完成作业标签的添加。
相似文档
  • 本章节主要介绍作业监控的实时作业监控。 实时作业监控提供了对实时处理作业的状态进行监控的能力。 实时处理作业处理实时的连续数据,主要用于实时性要求高的场景。实时作业是由一个或多个节点组成的流水线,每个节点配置独立的、节点级别的调度策略,而且节点启动的任务可以永不下线。
  • 本章节主要介绍运维调度的实例监控。 作业每次运行,都会对应产生一次作业实例记录。在数据开发模块控制台的左侧导航栏,选择“运维调度”,进入实例监控列表页面,用户可以在该页面中查看作业的实例信息,并根据需要对实例进行更多操作。
  • 本章节主要介绍运维调度的补数据监控。 在数据开发模块控制台的左侧导航栏,选择“运维调度 > 补数据监控”,进入补数据的任务监控页面。 用户可以在补数据监控主页,查看补数据的任务状态、业务日期、并行周期数、补数据作业名称,以及停止运行中的任务。
  • 本章节主要介绍通知管理的管理通知。 用户可以通过通知管理功能配置作业通知任务,当作业运行异常或成功时向相关人员发送通知。
  • 本章节主要介绍通知管理的通知周期概览。 操作场景: 用户可以按照天/周/月为调度周期配置通知任务,向相关人员发送通知。让相关人员可以定期跟踪作业的调度情况(作业调度成功数量,作业调度失败异常数量以及作业失败详情)。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部