上云无忧 > 文档中心 > 天翼云数据湖探索使用教程 - 队列管理概述
数据湖探索
天翼云数据湖探索使用教程 - 队列管理概述

文档简介:
本章节主要介绍队列管理概述。 队列: DLI服务中的队列即为计算资源,计算资源是使用DLI服务的基础,用户执行的一切作业都需要使用计算资源。 当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

队列

DLI服务中的队列即为计算资源,计算资源是使用DLI服务的基础,用户执行的一切作业都需要使用计算资源。

当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。 其中,SQL队列用于运行SQL作业,通用队列兼容老版本的Spark队列,用于运行Spark作业和Flink作业。

说明
  • SQL队列每隔12小时会自动重启一次。

  • 不支持不同类型队列直接转换,如需更换队列,请重新购买新的队列。

  • default队列是系统预置的默认队列,不需要单独删除。

计算资源和存储资源的区别

详见下表:计算资源和存储资源的区别

资源名称 获取方式 主要作用
计算资源 在DLI管理控制台创建队列。 执行查询。
存储资源 DLI服务自带5G配额。 存储数据库和DLI表。
说明
  • 存储资源是DLI服务内部的存储资源,用于存储数据库和DLI表,体现用户存储在DLI中的数据量。

  • 存储资源无需创建,DLI默认提供5G配额。

  • DLI服务预置了名为“default”的队列。用户在不确定所需队列容量或没有可创建队列空间的情况下,可以使用该队列执行作业。

  • “default”队列只用于用户体验,所有人共用,用户间可能会出现抢占资源的情况,不能保证每次都可以得到资源执行相关操作。建议使用自建队列执行作业。

专属队列

专属队列是指队列对应的资源为专属资源,空闲时不释放,即无论是否使用均保留资源的队列类型。专属队列可以保证提交作业时资源一定存在。

队列弹性扩缩容

DLI提供了队列弹性扩缩容的功能。用户在创建指定规格队列后,可根据需要进行弹性扩缩容。

根据业务情况,手动更改队列规格。具体操作请参考弹性扩缩容。

说明

新创建的队列需要运行作业后才可进行扩缩容。

队列弹性扩缩容定时任务

DLI提供了队列弹性扩缩容定时任务的功能。用户在创建队列后,可根据需要进行弹性扩缩容定时任务。

根据业务情况,设置队列自动扩缩容的时间,由系统定时触发队列扩缩容。具体操作请参考 弹性扩缩容定时任务。

说明

新创建的队列需要运行作业后才可进行扩缩容。

队列自动扩缩容

Flink作业使用队列,DLI可根据作业大小自动触发扩缩容,用户无需进行操作。

说明

新创建的队列需要运行作业后才可进行扩缩容。

队列管理页面

队列管理主要包括如下功能:

  • 队列权限管理
  • 创建队列
  • 删除队列
  • 修改队列网段
  • 弹性扩缩容
  • 弹性扩缩容定时任务
  • 测试地址连通性
  • 创建消息通知主题
说明

DLI作业执行失败需要通过SMN发送通知消息,因此需要获得访问和使用SMN(消息通知服务)的SMN Administrator权限。

队列管理页面显示用户创建所有的队列和服务预置的default队列。队列列表默认按创建时间排列,创建时间最近的队列显示在最前端。

详见下表:列管理参数

参数 参数说明
名称 队列的名称。
类型 队列的类型。
SQL队列
通用队列
Spark队列(兼容老版本)
规格 队列大小,单位:CUs。
CUs是队列的计价单位。1CUs=1Core 4GMem。不同规格的队列对应的计算能力不一样,规格越高计算能力越好。
实际CUs 当前队列实际大小值。
弹性扩缩容 定时扩缩容的目标CU值,或当前规格CU值的最大值和最小值。
用户名 队列所有者。
描述 创建队列时,对队列的描述。如果无描述,则显示“--”。
操作 删除:删除所选队列。如果队列中有正在提交或者正在运行的作业,将不支持删除操作。
权限管理:查看队列对应的用户权限信息以及对其他用户授权。
更多
− 重启:强制重启队列。
说明
只有SQL队列有“重启”操作。
− 弹性扩缩容:可以根据需要选择“扩容”或“缩容”,目标值大小必须为16CU的整数倍。
− 弹性扩缩容定时任务:可以根据业务周期或使用情况,在不同的时间或周期内设置不同的队列大小,系统将定时自动进行“扩容”或“缩容”。目标值大小必须为16CU的整数倍。
− 修改网段:使用DLI增强型跨源时,DLI队列网段与数据源网段不能重合,可根据需要进行修改。
− 测试地址连通性:测试队列到指定地址是否可达,支持域名和ip,可指定端口。
相似文档
  • 本章节主要介绍队列权限管理。 队列权限管理操作场景: 针对不同用户,可以通过权限设置分配不同的队列,不同用户之间的作业效率互不影响,保障作业性能。 管理员用户和队列的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其队列权限。
  • 本章节主要介绍创建队列。 执行作业前需要先创建队列。 说明: 用户首次使用子帐号创建队列时,需要先使用用主帐号登录控制台,在DLI的数据库中保持记录,才能创建队列。
  • 本章节主要介绍删除队列。 根据实际使用情况,您可以通过删除操作释放队列。 说明: 如果待删除的队列中有正在提交或正在运行的作业,将不支持删除操作。 删除队列不会导致您数据库中的表数据丢失。
  • 本章节主要介绍修改队列网段。 使用增强型跨源时,如果DLI队列的网段和用户数据源的网段发生冲突,您可以通过修改网段操作更改队列的网段。
  • 本章节主要介绍弹性扩缩容。 前提条件: 新创建的队列需要运行作业后才可进行弹性扩缩容。 注意事项: 如果在“弹性扩缩容”页面提示“Status of queue xxx is assigning, which is not available”,表示需要等待队列资源分配完毕才可进行扩缩容。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部