天翼云数据治理中心 DataArts Studio 节点参考 - DLI Flink Job
文档简介：
本章节主要介绍节点参考的DLI Flink Job。
功能：
通过DLI Flink Job节点执行一个预先定义的DLI作业，实现实时流式大数据分析。
咨询热线：400-826-7010，为您提供专业的售前咨询，让您快速了解云产品，助您轻松上云！
微信咨询
免费试用、价格特惠
功能
通过DLI Flink Job节点执行一个预先定义的DLI作业，实现实时流式大数据分析。
原理
该节点方便用户启动或者查询DLI作业是否正在运行。当作业类型不是“选择已存在的Flink作业”时，系统会根据在节点中配置的作业情况，进行创建和启动作业。方便用户自定义作业以及作业参数。
参数
DLI Flink Job的参数配置，请参考以下内容：
- 属性参数：
− 选择已存在的Flink作业 ：请参见下表。
− Flink SQL作业 ：请参见下表。
− Flink自定义作业 ：请参见下表。
- 高级参数
已存在的Flink作业-属性参数
| 参数 | 是否必选 | 说明 |
|---|---|---|
| 作业类型 | 是 | 选择“选择已存在的Flink作业”。 |
| 作业名称 | 是 | 选择一个已存在的DLI Flink作业。 |
| 节点名称 | 是 | 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 |
Flink SQL作业-属性参数
| 参数 | 是否必选 | 说明 |
|---|---|---|
| 作业类型 | 是 | 选择“Flink SQL作业”。用户采用编写SQL语句来启动作业。 |
| 脚本路径 | 是 | 选择需要执行的Flink SQL脚本。如果脚本未创建，请参考新建脚本和开发SQL脚本创建和开发Flink SQL脚本。 |
| DLI队列 | 是 |
默认选择“共享队列”，用户也可以选择自定义的独享队列。 说明 当子用户在创建作业时，子用户只能选择已经被分配的队列。 |
| CUs | 是 | 一个CU是1核4G的资源配置。 |
| 并发数 | 是 |
并发数是指同时运行Flink SQL作业的任务数。 说明 并发数不能大于计算单元（CUs-1）的4倍。 |
| UDF Jar | 否 | 当作业所属集群选择独享集群时，该参数有效。在选择UDF Jar之前，您需要将UDF Jar包上传至OBS桶中，并在“资源管理”页面中新建资源，具体操作请参考管理资源章节中的 新建资源。用户可以在SQL中调用插入Jar包中的自定义函数。 |
| 异常自动启动 | 否 | 设置是否启动异常自动重启功能，当作业异常时将自动重启并恢复作业。 |
| 作业名称 | 是 | 填写DLI Flink作业的名称，只能包含英文字母、数字、“_”，且长度为1~64个字符。默认与节点的名称一致。 |
| 作业名称添加工作空间前缀 | 否 | 设置是否为创建的作业名称添加工作空间前缀。 |
| 节点名称 | 是 | 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 |
Flink自定义作业-属性参数
| 参数 | 是否必选 | 说明 |
|---|---|---|
| 作业类型 | 是 | 选择“Flink自定义作业”。 |
| jar包路径 | 是 | 用户自定义的程序包。在选择程序包之前，您需要将对应的jar包上传至OBS桶中，并在“资源管理”页面中新建资源，具体操作请参考管理资源章节中的 新建资源。 |
| 入口类 | 是 |
指定加载的Jar包类名，如KafkaMessageStreaming。 默认：根据Jar包文件的Manifest文件指定。 指定：需要输入类名并确定类参数列表（参数间用空格分隔）。 说明 当类属于某个包时，需携带包路径，例如：packagePath.KafkaMessageStreaming。 |
| 入口参数 | 是 | 指定类的参数列表，参数之间使用空格分隔。 |
| DLI队列 | 是 |
默认选择“共享队列”，用户也可以选择自定义的独享队列。 说明 当子用户在创建作业时，子用户只能选择已经被分配的队列。 |
| 作业特性 | 否 | 选择自定义镜像和对应版本。仅当DLI队列为容器化队列类型时，出现本参数。自定义镜像是DLI的特性。用户可以依赖DLI提供的Spark或者Flink基础镜像，使用Dockerfile将作业运行需要的依赖（文件、jar包或者软件）打包到镜像中，生成自己的自定义镜像，然后将镜像发布到SWR（容器镜像服务）中，最后在此选择自己生成的镜像，运行作业。自定义镜像可以改变Spark作业和Flink作业的容器运行环境。用户可以将一些私有能力内置到自定义镜像中，从而增强作业的功能、性能。 |
| CUs | 是 | 一个CU是1核4G的资源配置。 |
| 管理节点CU数量 | 是 | 设置管理单元的CU数，支持设置1~4个CU数，默认值为1个CU。 |
| 并发数 | 是 |
并发数是指同时运行Flink SQL作业的任务数。 说明 并发数不能大于计算单元（CUs-1）的4倍。 |
| 异常自动启动 | 否 | 设置是否启动异常自动重启功能，当作业异常时将自动重启并恢复作业。 |
| 作业名称 | 是 | 填写DLI Flink作业的名称，只能包含英文字母、数字、“_”，且长度为1~64个字符。默认与节点的名称一致。 |
| 作业名称添加工作空间前缀 | 否 | 设置是否为创建的作业添加工作空间前缀。 |
| 节点名称 | 是 | 节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 |
高级参数
| 参数 | 是否必选 | 说明 |
|---|---|---|
| 节点执行的最长时间 | 是 | 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 |
| 失败重试 | 是 |
节点执行失败后，是否重新执行节点。 是：重新执行节点，请配置以下参数。 − 最大重试次数 − 重试间隔时间（秒） 否：默认值，不重新执行节点。 说明 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 |
| 失败策略 | 是 |
节点执行失败后的操作： 终止当前作业执行计划：停止当前作业运行，当前作业实例状态显示为“失败”。 继续执行下一节点：忽略当前节点失败，当前作业实例状态显示为“忽略失败成功”。 挂起当前作业执行计划：暂停当前作业运行，当前作业实例状态显示为“等待运行”。 终止后续节点执行计划：停止后续节点的运行，当前作业实例状态显示为“失败”。 |
| 空跑 | 否 | 如果勾选了空跑，该节点不会实际执行，将直接返回成功。 |
