上云无忧 > 文档中心 > 天翼云数据湖探索使用教程 - Flink模板管理
数据湖探索
天翼云数据湖探索使用教程 - Flink模板管理

文档简介:
本章节主要介绍数据湖探索如何对Flink模板管理。 Flink模板包括样例模板和自定义模板。用户可以在已有的样例模板中进行修改,来实现实际的作业逻辑需求,节约编辑SQL语句的时间。也可以根据自己的习惯和方法自定义作业模板,方便后续可以直接调用或修改。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

Flink模板包括样例模板和自定义模板。用户可以在已有的样例模板中进行修改,来实现实际的作业逻辑需求,节约编辑SQL语句的时间。也可以根据自己的习惯和方法自定义作业模板,方便后续可以直接调用或修改。

Flink模板管理主要包括如下功能:

  • Flink SQL样例模板
  • 自定义模板
  • 新建模板
  • 基于模板新建作业
  • 修改模板
  • 删除模板

Flink SQL样例模板

Flink SQL样例模板列表显示已有的Flink SQL样例作业模板,Flink SQL样例模板列表参数说明如下表所示。

Flink SQL样例模板列表参数

参数 参数说明
名称 模板名称,只能由英文、中文、数字、中划线和下划线组成,并且长度为1~64个字符。
描述 模板的相关描述,且长度为0~512个字符。
操作 “创建作业”:直接在该模板下创建作业,创建完后,系统跳转到“作业管理”下的作业编辑页面。

当前已有的样例模板包括如下场景:

  • NGINX访问日志实时ETL入库

  • 套牌车辆检测

  • 电子围栏告警

  • 车辆偏航告警

  • 车辆超速告警

  • 流式随机森林异常检测

  • CloudTable-DLI Flink-CloudTable

  • DIS-DLI

    Flink-CSS(Elasticsearch)

  • DIS-DLI

    Flink-CloudTable(OpenTSDB)

  • DIS-DLI Flink-CloudTable

  • DIS-DLI Flink-DCS

  • DIS-DLI Flink-DDS(MongoDB)

  • DIS-DLI Flink-DIS

  • DIS-DLI Flink-OBS-DWS

  • DIS-DLI Flink-SMN

  • Kafka-DLI Flink-Kafka

  • OBS-DLI Flink-RDS

  • Stream-Join-Table(DCS)

  • Stream-Join-Table(RDS)

自定义模板

自定义模板列表显示所有的jar作业模板,自定义模板列表参数说明如下表所示。

自定义模板列表参数

参数 参数说明
名称 模板名称,只能由英文、中文、数字、中划线和下划线组成,并且长度为1~64个字符。
描述 模板的相关描述,且长度为0~512个字符。
创建时间 创建模板的时间。
更新时间 最后修改模板的时间。
操作 “编辑”:对已经创建好的模板进行修改。
“创建作业”:直接在该模板下创建作业,创建完后,系统跳转到“作业管理”下的作业编辑页面。
更多:
− “删除”:将已经创建的模板删除。

新建模板

创建作业模板,有以下四种方法。

  • 进入“作业模板”页面新建模板。

a. 在DLI管理控制台的左侧导航栏中,单击“作业模板”>“Flink模板”。

b. 单击页面右上角“创建模板”,弹出“创建模板”页面。

c. 输入“名称”和“描述”。

模板配置信息

参数 参数说明
名称 模板名称,只能由字母、中文、数字、中划线和下划线组成,并且长度为1~64个字符。
说明
模板名称必须是唯一的。
描述 模板的相关描述,且长度为0~512字符。

d. 单击“确定”,进入“编辑”页面。

界面介绍

功能 描述
名称 可以修改模板名称。
描述 可以修改模板描述。
保存方式 修改:将修改保存至当前的模板中。
新增:将修改另存为新的模板。
SQL语句编辑区域 输入详细的SQL语句,实现业务逻辑功能。SQL语句的编写请参考《数据湖探索SQL语法参考》。
保存 保存修改。
创建作业 使用当前模板创建作业。
格式化 对SQL语句进行格式化,将SQL语句格式化后,需要重新编辑SQL语句。
主题设置 更改字体大小、自动换行、页面风格(黑色底或白色底)等配置。

e. 在SQL语句编辑区域,输入SQL语句,实现业务逻辑功能。SQL语句的编写请参考《数据湖探索SQL语法参考》。

f. SQL编辑完成后,单击右上角的“保存”,完成创建模板。

g. (可选)如果不需要进行修改,也可以单击右上角的“创建作业”基于当前模板创建作业。创建作业请参考创建Flink SQL作业、创建Flink Jar作业。

  • 基于现有作业模板新建模板

a. 在DLI管理控制台的左侧导航栏中,单击“作业模板”>“Flink模板”,单击“自定义模板”页签。

b. 在自定义模板列表中,单击所需作业模板“操作”列中的“编辑”,进入“模板编辑”页面。

c. 修改完成后,“保存方式”选择“新增”。

d. 单击右上角“保存”,完成另存一个新模板。

  • 基于新建作业新建模板

a. 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入“Flink作业”页面。

b. 单击右上角“创建作业”,弹出“创建作业”页面。

c. 配置作业信息,输入“名称”和“描述”,选择“模板”。

d. 单击“确认”,进入“作业编辑”页面。

e. SQL编辑完成后,单击“设为模板”,弹出“设为模板”窗口。

f. 输入“名称”和“描述”,单击“确认”,完成另存一个新模板。

  • 基于现有作业新建模板

a. 在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入“Flink作业”页面。

b. 在作业列表中,选择一个需要设置为模板的作业,在“操作”列单击“编辑”,进入“作业编辑”页面。

c. SQL编辑完成后,单击“设为模板”,弹出“设为模板”窗口。

d. 输入“名称”和“描述”,单击“确认”,完成另存一个新模板。

基于模板新建作业

用户可以基于样例模板或者自定义模板新建作业。

1.在DLI管理控制台的左侧导航栏中,单击“作业模板”>“Flink模板”。

2.在样例模板列表中,单击对应模板“操作”列中的“创建作业”。创建作业请参考创建Flink SQL作业、创建Flink Jar作业。

修改模板

用户创建完自定义模板后,可以根据实际需求修改自定义模板。样例模板不支持修改,但是可以查看。

1.在DLI管理控制台的左侧导航栏中,单击“作业模板”>“Flink模板”,单击“自定义模板”页签。

2.在自定义模板列表中,选择一个需要修改的模板,单击模板名称或该模板“操作”列中的“编辑”,进入“编辑”页面。

3.在SQL语句编辑区,根据需要修改SQL语句。

4.“保存方式”选择“修改”。

5.单击右上角“保存”,保存当前模板修改的内容。

删除模板

用户可以根据需求删除不需要的自定义模板,不支持删除样例模板。模板删除后无法恢复,请谨慎操作。

1.在DLI管理控制台的左侧导航栏中,单击“作业模板”>“Flink模板”,单击“自定义模板”页签。

2.在自定义模板列表中,勾选需要删除的模板,支持多选,单击自定义模板列表左上方的“删除”。

用户也可以在自定义模板列表中,勾选需要删除的模板,单击“操作”栏中“更多 > 删除”,删除对应的模板。

3.在弹出的删除确认窗口中,单击“是”。

相似文档
  • 本章节主要介绍数据湖探索服务SQL模板下TPC-H样例数据说明。 TPC-H样例数据简介: TPC-H(商业智能计算测试)是美国交易处理效能委员会(TPC,Transaction Processing Performance Council) 组织制定的用来模拟决策支持类应用的一个测试集。
  • 本章节主要介绍跨源连接和跨源分析概述。 DLI支持原生Spark的DataSource能力,并在其基础上进行了扩展,能够通过SQL语句、Spark作业或者Flink作业访问其他数据存储服务并导入、查询、分析处理其中的数据。
  • 本章节主要介绍增强型跨源连接概述。 增强型跨源连接概述: DLI 增强型跨源连接底层采用对等连接,直接打通DLI集群与目的数据源的vpc网络,通过点对点的方式实现数据互通。增强型跨源支持所有DLI服务已实现的跨源业务,包括CloudTable的Hbase和OpenTSDB,MRS的OpenTSDB,DWS,RDS,CSS,DCS,DDS等数据源。
  • 本章节主要介绍创建/查找/删除增强型跨源连接。 创建增强型跨源连接: 以创建MRS服务HBase跨源连接为例进行说明。 注意: 只支持通过增强型跨源访问MRS HBase。
  • 本章节主要介绍绑定/解绑队列。 约束限制: 绑定跨源的DLI队列网段和数据源网段不能重合。 不支持绑定系统预置的default队列。 绑定队列: 使用增强型跨源连接之前必须绑定队列且对等连接的状态是“active”。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部