上云无忧 > 文档中心 > 天翼云数据湖探索使用教程 - Flink作业管理概述
数据湖探索
天翼云数据湖探索使用教程 - Flink作业管理概述

文档简介:
本章节主要介绍 Flink作业管理概述 。 在Flink作业管理页面可提交Flink作业。目前有以下作业类型: Flink SQL作业:使用SQL语句定义作业,可以提交到通用队列上。 Flink Jar作业:基于Flink API的自定义Jar包作业,可以运行在独享队列上。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

在Flink作业管理页面可提交Flink作业。目前有以下作业类型:

  • Flink SQL作业:使用SQL语句定义作业,可以提交到通用队列上。
  • Flink Jar作业:基于Flink API的自定义Jar包作业,可以运行在独享队列上。

Flink作业管理主要包括如下功能:

  • Flink作业权限管理

  • 创建Flink SQL作业

  • 创建Flink Jar作业

  • 调试Flink作业

  • 编辑作业

  • 启动作业

  • 停止作业

  • 删除作业

  • 导出作业

  • 导入作业

  • 名称和描述修改

  • 导入保存点

  • 触发保存点

  • 运行时配置

  • Flink作业详情

    以及查看“使用指南”和“使用视频”。

委托权限设置

DLI执行Flink作业需要进行委托授权,可在第一次登录管理控制台时进行设置,也可在“全局配置”>“服务授权”中进行修改。

  • Tenant Administrator(全局服务):DLI Flink作业访问和使用OBS或者DWS数据源、日志转储(包括桶授权)、开启checkpoint、作业导入导出等,需要获得访问和使用OBS(对象存储服务)的Tenant Administrator权限。

    说明

    由于云服务缓存需要时间,该权限60分钟左右才能生效。

  • DIS Administrator:DLI Flink作业访问和使用DIS数据源,需要获得访问和使用DIS(数据接入服务)的DIS Administrator权限。

    说明

    由于云服务缓存需要时间,该权限30分钟左右才能生效。

  • CloudTable Administrator:DLI Flink作业访问和使用CloudTable数据源,需要获得访问和使用CloudTable(表格存储服务)的CloudTable Administrator权限。

    说明

    由于云服务缓存需要时间,该权限3分钟左右才能生效。

  • Tenant Administrator(项目级):使用其他必须具有Tenant Administrator权限才能运行的服务也需要获得该权限。

    说明

    由于云服务缓存需要时间,该权限3分钟左右才能生效。

作业管理页面

在总览页面单击“Flink作业”简介,或在左侧导航栏单击“作业管理”>“Flink作业”,可进入Flink作业管理页面。Flink作业管理页面显示所有的Flink作业,作业数量较多时,系统分页显示,您可以查看任何状态下的作业。

详见下表:作业管理参数

参数 参数说明
ID 所提交Flink作业的ID,由系统默认生成。
名称 所提交Flink作业的名称。
类型 所提交Flink作业的类型。包括:
Flink SQL:Flink SQL作业
Flink Jar:Flink Jar作业
状态 作业的状态信息,包括:
草稿
提交中
提交失败
运行中(提交作业后,返回正常结果)
运行异常(作业发生运行时异常,停止运行作业)
下载中
空闲
停止中
已停止
停止失败
保存点创建中
已完成
描述 所提交Flink作业的描述。
用户名 提交作业的用户名称。
创建时间 每个作业的创建时间。
开始时间 Flink作业开始运行的时间。
运行时长 作业运行所消耗的时间。
操作 编辑:编辑已经创建好的作业。具体请参见操作Flink作业章节中的“编辑作业”。
启动:启动作业并运行。具体请参见操作Flink作业章节中的“启动作业”。
更多
− FlinkUI:单击后,将跳转至Flink任务运行情况界面。
说明
如果是新建队列,在该队列提交作业后,如果立即单击FlinkUI,因为后台大约需要10分钟创建集群,会导致缓存空的projectID,从而导致无法查看FlinkUI。 建议作业选择使用专属队列,后台集群不会被释放,避免上述问题产生。或者等待作业运行中时再查看FlinkUI,确保集群已经拉好了,不要立即单击FlinkUI。
− 停止:停止Flink作业。如果该功能置灰,表示当前状态的作业不支持停止。
− 删除:删除作业。 说明 作业删除后不可恢复,请谨慎操作。
− 名称和描述修改:修改作业名称和描述。具体请参见操作Flink作业章节中的“名称和描述修改”。
− 导入保存点:导入原实时流计算服务作业导出的数据。具体请参见操作Flink作业章节中的“导入保存点”。
− 触发保存点:“运行中”的作业可以“触发保存点”,保存作业的状态信息。具体请参见操作Flink作业章节中的“触发保存点”。
− 权限管理:查看作业对应的用户权限信息以及对其他用户授权。具体请参考Flink作业权限管理。
− 运行时配置:支持作业在运行时配置作业异常告警和异常自动重启。具体请参见操作Flink作业章节中的“运行时配置”。
相似文档
  • 本章节主要介绍 Flink作业权限管理。 Flink作业权限操作场景: 针对不同用户,可以通过权限设置分配不同的作业,不同用户之间的作业效率互不影响,保障作业性能。 管理员用户和作业的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其作业权限。
  • 本章节主要介绍准备Flink作业数据。 创建Flink作业需要输入数据源和数据输出通道,即常说的Source和Sink。用户使用其他服务作为数据源或输出通道时,需要先开通相应服务。 Flink作业支持以下数据源和输出通道: DIS数据源和输出通道。
  • 本章节主要介绍 创建Flink SQL作业 。 Flink SQL是一种由用户根据自己的逻辑需求编写作业的方式。用SQL表达业务逻辑,可以简便快捷的实现业务。目前Flink SQL作业支持两种Flink SQL语句编辑方式:SQL编辑器和可视化编辑器。
  • 本章节介绍如何新建FlinkJar作业。 用户可以基于Flink的API进行二次开发,构建自己的应用Jar包并提交到DLI的队列运行,DLI完全兼容开源社区接口。此功能需要用户自己编写并构建应用Jar包,适合对Flink二次开发有一定了解,并对流计算处理复杂度要求较高的用户。
  • 本章节主要介绍调试Flink作业。 调试作业功能可以帮助用户在正式运行作业前,检测用户编写的SQL语句逻辑的正确性。 说明: 目前只有Flink SQL作业支持本功能。 作业调试功能只用于验证SQL逻辑,不会有数据写入操作。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部