上云无忧 > 文档中心 > 天翼云数据湖探索使用教程 - 操作Flink作业
数据湖探索
天翼云数据湖探索使用教程 - 操作Flink作业

文档简介:
本章节主要介绍 操作Flink作业。 用户创建了新作业后,需要根据用户的实际需求对作业进行操作,具体操作有如下几种: 编辑作业、 启动作业、 停止作业、 删除作业、 导出作业、 导入作业、 名称和描述修改、 导入保存点、 触发保存点、 运行时配置。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

用户创建了新作业后,需要根据用户的实际需求对作业进行操作,具体操作有如下几种:

  • 编辑作业
  • 启动作业
  • 停止作业
  • 删除作业
  • 导出作业
  • 导入作业
  • 名称和描述修改
  • 导入保存点
  • 触发保存点
  • 运行时配置

编辑作业

用户可以对已经创建的作业进行编辑,如修改SQL语句、作业名称和描述、作业配置信息等。

1.在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。

2.在需要编辑作业对应的“操作”列中,单击“编辑”,进入作业“编辑”页面。

3.根据实际需求编辑作业。

  • 对于Flink SQL类型作业,编辑页面详情请参见创建Flink SQL作业中的步骤5~步骤7。
  • 对于Flink自定义类型作业,编辑页面详情请参见创建Flink Jar作业中的步骤5~步骤7。

启动作业

用户可以启动已创建保存的作业或已经停止的作业。

1.在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。

2.启动作业,有以下两种方式:

  • 启动单个作业

选择一个作业,在对应的“操作”列中,单击“启动”。

也可以在作业列表中,勾选一个作业,单击作业列表左上方的“启动”。

  • 批量启动作业

勾选多个作业,单击作业列表左上方的“启动”,可以启动多个作业。

单击“启动”后,跳转至“作业配置清单”页面。

3.在“作业配置清单”页面,确认作业信息,若无误,单击“立即启动”。

作业启动后,可在对应作业的“状态”列中查看运行成功或失败。

停止作业

当用户不需要运行某个作业时,用户可以将状态为“运行中”和“提交中”的作业停止。

1.在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。

2.停止作业,有以下两种方式:

  • 停止单个作业

选择需要停止的作业,在对应的“操作”列中,单击“更多 > 停止”。

也可以在作业列表中,勾选一个作业,单击作业列表左上方的“停止”。

  • 批量停止作业

勾选多个需要停止作业,单击作业列表左上方的“停止”。可以停止多个作业。

3.在弹出的“停止作业”窗口中,单击“确认”,停止作业。

说明
  • 在停止作业之前,用户可以触发保存点,保存作业的状态信息。当该作业再次启动时用户可以选择是否从保存点恢复。

  • 勾选“触发保存点”表示创建保存点。不勾选“触发保存点”表示不创建保存点。默认不创建保存点。

  • 保存点的生命周期从触发保存点并停止作业开始,重启作业后结束。保存点在重启作业后自动删除,不会一直保存。

停止作业过程中,在作业列表的“状态”列中将显示作业状态,说明如下:

  • 如果在“状态”中显示“停止中”,表示正在停止作业。
  • 如果在“状态”中显示“已停止”,表示停止作业成功。
  • 如果在“状态”中显示“停止失败”,表示停止作业失败。

删除作业

当用户不再需要使用某个作业时,可以参考如下操作删除该作业。作业删除后,将不可恢复,请谨慎操作。

1.在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。

2.删除作业,有以下两种方式:

  • 删除单个作业

在需要删除作业对应的“操作”列中,单击“更多 > 删除”,弹出“删除作业”页面。

也可以在作业列表中,勾选一个作业,单击作业列表左上方的“删除”,弹出“删除作业”页面。

  • 批量删除作业

勾选多个需要删除作业,单击作业列表左上方的“删除”,弹出“删除作业”页面,可以删除多个作业。

3.单击“确定”,完成作业的删除。

导出作业

用户可以将所创建的Flink作业导出至OBS桶中。

适用于当用户切换区域、项目或用户时,需要创建相同的作业,而作业比较多的情况。此时,不需要重新创建作业,只需要将原有的作业导出,再在新的区域、项目或者使用新的用户登录后,导入作业即可。

说明

切换项目或用户时,需要对新项目或用户授权,具体请参考[Flink作业权限管理](https://www.ctyun.cn/document/10014065/10118879)。

1.在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。

2.单击右上角“导出作业”,打开“导出作业”对话框。

3.选择保存作业的OBS桶。单击“下一步”。

4.选择待导出的作业。

默认导出所有作业,也可以勾选“自定义导出”选择需要导出的作业。

5.单击“确认导出”,完成导出作业。

导入作业

用户可以将保存在OBS桶中的Flink作业配置文件导入至DLI的Flink作业管理中。

适用于当用户切换区域、项目或用户时,需要创建相同的作业,而作业比较多的情况。此时,不需要重新创建作业,只需要将原有的作业导出,再在新的区域、项目或者使用新的用户登录后,导入作业即可。

如果需要导入自建的作业,建议使用创建作业的功能。具体请参考创建Flink SQL作业,创建Flink Jar作业。

说明
  • 切换项目或用户时,需要对新项目或用户授权,具体请参考[Flink作业权限管理](https://www.ctyun.cn/document/10014065/10118879)。

  • 仅支持导入与从DLI导出的Flink作业相同数据格式的作业。

1.在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。

2.单击右上角“导入作业”,打开“导入作业”对话框。

3.选择需导入的作业配置文件的完整OBS路径。单击“下一步”。

4.配置同名作业策略。单击“下一步”。

  • 勾选“配置同名替换”,若待导入的作业名已存在,则覆盖已存在的作业配置,并且作业状态重置为草稿。
  • 不勾选“配置同名替换”,若待导入的作业名已存在,则不导入同名作业的配置。

5.确认“配置文件”和“同名作业策略”配置无误。单击“确认导入”,完成导入作业。

名称和描述修改

用户可以根据需要修改作业名称和描述。

1.在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入Flink作业管理页面。

2.在需要修改名称和描述的作业对应的“操作”列中,单击“更多 > 名称和描述修改”,弹出“属性修改”页面。修改作业名称和描述。

3.单击“确定”完成修改。

触发保存点

状态为“运行中”的作业可以“触发保存点”,保存作业的状态信息。

导入保存点

导入保存点用于恢复作业状态。关于保存点,可参见flink官方文档Checkpointing说明。

具体操作为:选择保存点的OBS路径,选择完成后,单击“确认”完成导入。

运行时配置

用户可通过选择“运行时配置”配置作业异常告警和重启选项。

说明

支持Flink SQL作业,Flink jar作业。

1.在对应Flink作业“操作”列>“更多”中单击“运行时配置”。

2.在“运行时配置”页面配置以下参数。

详见下表:作业运行参数说明

参数 参数说明
作业异常告警 设置是否将作业异常告警信息,如作业出现运行异常或者欠费情况,以SMN的方式通知用户。
勾选后需配置下列参数:
“SMN主题”:
选择一个自定义的SMN主题。如何自定义SMN主题,请参见《消息通知服务用户指南》中“创建主题”章节。
异常自动重启 设置是否启动异常自动重启功能,当作业异常时将自动重启并恢复作业。
勾选后需配置下列参数:
“异常重试最大次数”:配置异常重试最大次数。单位为“次/小时”。
− 无限:无限次重试。
− 有限:自定义重试次数。
“从Checkpoint恢复”:从已保存的checkpoint恢复作业。
说明
Flink SQL作业需要在编辑页面勾选“开启Checkpoint”才可配置该参数。
勾选该参数后,Flink jar作业还需要选择“Checkpoint路径”。
“Checkpoint路径”:选择checkpoint保存路径。必须和应用程序中配置的Checkpoint地址相对应。且不同作业的路径不可一致,否则无法获取准确的Checkpoint。
相似文档
  • 本章节主要介绍Flink作业详情。 创建作业后,用户可以通过查看作业详情,了解如下信息。 查看作业详情、 查看作业监控、 查看作业任务列表、 查看作业执行计划、 查看提交作业日志、 查看作业运行日志。
  • 本章节主要介绍Spark作业管理概述。 DLI在开源Spark基础上进行了大量的性能优化与服务化改造,兼容Apache Spark生态和接口,执行批处理任务。 DLI还支持使用Spark作业访问DLI元数据。
  • 本章节主要介绍创建Spark作业。 Spark作业编辑页面支持执行Spark作业,为用户提供全托管式的Spark计算服务。 在总览页面,单击Spark作业右上角的“创建作业”,或在Spark作业管理页面,单击右上角的“创建作业”,均可进入Spark作业编辑页面。
  • 本章节主要介绍队列管理概述。 队列: DLI服务中的队列即为计算资源,计算资源是使用DLI服务的基础,用户执行的一切作业都需要使用计算资源。 当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。
  • 本章节主要介绍队列权限管理。 队列权限管理操作场景: 针对不同用户,可以通过权限设置分配不同的队列,不同用户之间的作业效率互不影响,保障作业性能。 管理员用户和队列的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其队列权限。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部