文档简介:
队列
DLI服务中的队列即为计算资源,计算资源是使用DLI服务的基础,用户执行的一切作业都需要使用计算资源。
当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中,SQL队列用于运行SQL作业,通用队列兼容老版本的Spark队列,用于运行Spark作业和Flink作业。
-
SQL队列每隔12小时会自动重启一次。
-
不支持不同类型队列直接转换,如需更换队列,请重新购买新的队列。
-
default队列是系统预置的默认队列,不需要单独删除。
计算资源和存储资源的区别
详见下表:计算资源和存储资源的区别
资源名称 | 获取方式 | 主要作用 |
---|---|---|
计算资源 | 在DLI管理控制台创建队列。 | 执行查询。 |
存储资源 | DLI服务自带5G配额。 | 存储数据库和DLI表。 |
-
存储资源是DLI服务内部的存储资源,用于存储数据库和DLI表,体现用户存储在DLI中的数据量。
-
存储资源无需创建,DLI默认提供5G配额。
-
DLI服务预置了名为“default”的队列。用户在不确定所需队列容量或没有可创建队列空间的情况下,可以使用该队列执行作业。
-
“default”队列只用于用户体验,所有人共用,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。建议使用自建队列执行作业。
专属队列
专属队列是指队列对应的资源为专属资源,空闲时不释放,即无论是否使用均保留资源的队列类型。专属队列可以保证提交作业时资源一定存在。
队列弹性扩缩容
DLI提供了队列弹性扩缩容的功能。用户在创建指定规格队列后,可根据需要进行弹性扩缩容。
根据业务情况,手动更改队列规格。具体操作请参考弹性扩缩容。
说明
新创建的队列需要运行作业后才可进行扩缩容。
队列弹性扩缩容定时任务
DLI提供了队列弹性扩缩容定时任务的功能。用户在创建队列后,可根据需要进行弹性扩缩容定时任务。
根据业务情况,设置队列自动扩缩容的时间,由系统定时触发队列扩缩容。具体操作请参考 弹性扩缩容定时任务。
说明
新创建的队列需要运行作业后才可进行扩缩容。
队列自动扩缩容
Flink作业使用队列,DLI可根据作业大小自动触发扩缩容,用户无需进行操作。
新创建的队列需要运行作业后才可进行扩缩容。
队列管理页面
队列管理主要包括如下功能:
- 队列权限管理
- 创建队列
- 删除队列
- 修改队列网段
- 弹性扩缩容
- 弹性扩缩容定时任务
- 测试地址连通性
- 创建消息通知主题
DLI作业执行失败需要通过SMN发送通知消息,因此需要获得访问和使用SMN(消息通知服务)的SMN Administrator权限。
队列管理页面显示用户创建所有的队列和服务预置的default队列。队列列表默认按创建时间排列,创建时间最近的队列显示在最前端。
详见下表:列管理参数
参数 | 参数说明 |
---|---|
名称 | 队列的名称。 |
类型 |
队列的类型。 SQL队列 通用队列 Spark队列(兼容老版本) |
规格 |
队列大小,单位:CUs。 CUs是队列的计价单位。1CUs=1Core 4GMem。不同规格的队列对应的计算能力不一样,规格越高计算能力越好。 |
实际CUs | 当前队列实际大小值。 |
弹性扩缩容 | 定时扩缩容的目标CU值,或当前规格CU值的最大值和最小值。 |
用户名 | 队列所有者。 |
描述 | 创建队列时,对队列的描述。如果无描述,则显示“--”。 |
操作 |
删除:删除所选队列。如果队列中有正在提交或者正在运行的作业,将不支持删除操作。 权限管理:查看队列对应的用户权限信息以及对其他用户授权。 更多 − 重启:强制重启队列。 说明 只有SQL队列有“重启”操作。 − 弹性扩缩容:可以根据需要选择“扩容”或“缩容”,目标值大小必须为16CU的整数倍。 − 弹性扩缩容定时任务:可以根据业务周期或使用情况,在不同的时间或周期内设置不同的队列大小,系统将定时自动进行“扩容”或“缩容”。目标值大小必须为16CU的整数倍。 − 修改网段:使用DLI增强型跨源时,DLI队列网段与数据源网段不能重合,可根据需要进行修改。 − 测试地址连通性:测试队列到指定地址是否可达,支持域名和ip,可指定端口。 |