上云无忧 > 文档中心 > 天翼云数据湖探索使用教程 - 如何使用SQL编辑器
数据湖探索
天翼云数据湖探索使用教程 - 如何使用SQL编辑器

文档简介:
本章节主要介绍数据湖探索(DLI)如何使用SQL作业编辑器。 SQL作业编辑器支持使用SQL语句执行数据查询操作。支持SQL2003,兼容SparkSQL。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

SQL作业编辑器支持使用SQL语句执行数据查询操作。支持SQL2003,兼容SparkSQL。

在总览页面,单击左侧导航栏中的“SQL编辑器”或SQL作业简介右上角的“创建作业”,可进入“SQL编辑器”页面。

进入SQL编辑器,页面会提示系统将创建DLI临时数据桶。该桶用于存储使用DLI服务产生的临时数据,例如:作业日志、作业结果等。如果不创建该桶,将无法查看作业日志。可以实现定时删除OBS桶中的对象或者定时转换对象的存储类别。桶名称为系统默认。

如果不需要创建DLI临时数据桶,并且希望不再收到该提示,可以勾选“下次不再提示”并单击“取消”。

“SQL编辑器”页面中的区域和按键功能介绍如下:

导航栏

页面左侧的导航栏包括“库表”列表和“队列”列表,说明如下。

导航栏按键说明

序号 页签/按键 页签/按键名称 描述
1 数据库 显示已有的数据库及其下所有的表。
单击数据库名,将显示该数据库中的表。
单击表名,将在表名下显示该表中的元数据,最多可显示20个元数据。
双击表名,将在作业编辑窗口自动输入SQL查询语句。
2 队列 显示已有的队列。
3 模板 内置的SQL样例模板,目前包含22条标准的TPC-H查询语句。
4 创建 包括创建队列、数据库和表。
具体操作请分别参考《用户操作手册》中的中的创建队列和创建数据库和表。
5 刷新 包括刷新已有的队列、数据库和表列表。
6 搜索 可输入关键字查找对应的数据库和表。

SQL作业编辑窗口

页面右侧上方为SQL作业编辑窗口,按照从上至下,从左至右的顺序,说明如下。

SQL作业编辑窗口说明

序号 按键 描述
2 队列 下拉选择需要使用的队列。如果没有可用队列,此处显示“请选择队列”,请先创建队列。
3 数据库 下拉选择需要使用的数据库。如果没有可用数据库,此处显示“请选择数据库”,请先创建数据库。
说明
如果SQL语句中指定了表所在的数据库,则此处选择的数据库无效。
4 执行 执行作业编辑窗口中的SQL语句。
5 格式化 格式化SQL语句。
6 语法参考 请联系客户经理索取《数据湖探索SQL语法参考》手册。
7 设置 以“key/value”的形式设置提交SQL作业的配置项。最多可设置10个属性。
8 更多 包括:
语法校验:判断SQL语句编写是否正确。
设为模板:将常用的SQL语句设为模板。具体操作请参见《用户操作手册》中的SQL模板管理。
选择模板:选择已保存为模板的SQL语句。
切换主题:选择白底黑字或黑底白字。
9 SQL语句编辑区 编辑SQL语句的区域。
10 光标位置 标识光标在SQL语句编辑区中的位置(行,列)。
11 快捷键 快捷键介绍具体请参考下表。

快捷键说明

快捷键 描述
Ctrl+Enter 执行SQL。通过按下键盘上的Ctrl+R或Ctrl + Enter,您可以执行SQL语句。
Ctrl+F 搜索SQL。通过按下键盘上的Ctrl + F,您可以搜索需要的SQL语句。
Shift+Alt+F 格式化SQL。通过按下键盘上的Shift+Alt+F,您可以将SQL语句格式化。
Ctrl+Q 语法校验。通过按下键盘上的Ctrl + Q,您可以对SQL语句进行语法校验。
F11 全屏。通过按下键盘上的F11,您可将SQL作业编辑器窗口全屏。再次按下F11,将从全屏复原。

“执行历史”和“查看结果”

页面右侧下方为SQL作业“执行历史(最近一周)”页签和“查看结果”页签,说明如下。

  • 执行历史

SQL作业执行历史说明

区域 描述
执行历史(最近一周) 执行历史(最近一周):显示最近一周提交的作业的信息。包括:
队列名称
创建时间
状态
执行语句
操作:
− 编辑:重新编辑SQL语句
− 终止:停止执行SQL语句
− SparkUI:跳转至SparkUI查看SQL语句执行进程
说明
新建队列,运行作业时会重新拉集群,大概需要10分钟左右才能拉好集群,在集群创建好之前单击SparkUI会导致缓存空的projectID,从而导致无法查看SparkUI。建议使用专属队列,集群不会被释放,就不会有该问题,或者提交作业后等一段时间再查看SparkUI,确保集群已经拉好了,不要立即单击SparkUI。
目前DLI配置SparkUI只展示最新的100条作业信息。
default队列下运行的作业或者该作业为同步作业时不支持该操作。
−更多:以下操作根据SQL类型和运行状态的不同显示会有差异,请以实际界面为准。
−终止:正在运行或提交中的SQL支持终止操作。
−重新执行:重新执行该SQL语句。
−查看结果:QUERY作业支持查看作业执行结果。
−导出结果:QUERY作业这次导出作业运行结果到指定OBS路径下。
−归档日志:SQL语句运行日志存储的OBS路径。
− 导出日志:导出SQL语句运行日志。
说明
导出日志用户需要具有创建OBS桶的权限。
default队列下运行的作业或者该作业为同步作业时不支持归档日志和导出日志操作。

可以通过以下方式筛选执行历史:

  • 在右上角选择队列名称或输入执行语句
  • 在列表中选择创建时间顺序/倒序排列
  • 在列表中选择作业状态
  • 查看结果

SQL作业查看结果说明

序号 按键 描述
1 清空 清空显示的SQL语句执行结果。
2 结果图形化/表格展示 以图形/表格的形式展示查询结果。
3 导出结果 将查询结果导出到OBS。具体操作介绍请参考《用户操作手册》中“SQL 作业管理”章节中的的“导出查询结果”。

SQL查询操作步骤

  1. 登录数据湖探索管理控制台,选择SQL作业,单击“创建作业”,进入“SQL编辑器”页面。
  2. 进入“SQL编辑器”页面后,系统会提示“创建DLI临时数据桶”,用于存储使用DLI服务产生的临时数据,如:作业日志、作业结果。如果不创建该桶,您将无法查看作业日志。单击“确定”。系统将提示创建临时桶成功。
  3. 在SQL作业编辑窗口右上方的“队列”列表中选择所使用的队列。创建队列操作步骤请参见创建队列 。
  4. 在SQL作业编辑窗口右上方的“数据库”列表中选择所使用的数据库,例如选择数据库“qw”。
  5. 创建表,例如表名为“qw”。创建数据库和表操作步骤请参见创建数据库和表 。
  6. 在SQL作业编辑窗口输入表“qw”的SQL查询语句:
    SELECT FROM qw.qw LIMIT 10;

或者双击左侧表名“qw”,上述查询语句会自动在作业编辑窗口中输入。

  1. 单击“更多”中的“语法校验”,确认SQL语句书写是否正确。

a. 若语法校验失败,请参考《数据湖探索SQL语法参考》,检查SQL语句准确性。

b. 若语法校验通过,单击“执行”,阅读并同意隐私协议,单击“确定”后执行SQL语句。

c. SQL语句执行成功后,在SQL作业编辑窗口下方会显示执行结果。

  1. (可选)在查看结果页签,单击右上侧“结果图形化”,查询结果将以图形形式呈现。再单击“表格展示”,查询结果可切换回表格形式。
说明
  • 若执行结果中无数值列,则无法进行图形化 。

  • 图形类型包括柱状图、折线图、扇形图 。

  • 柱状图和折线图的X轴可为任意一列,Y轴仅支持数值类型的列,扇形图对应图例和指标 。


作业编辑窗口操作技巧

  • 在SQL作业编辑窗口中导入SQL语句的简便方法。
  • 可以双击左侧导航栏列表中的表名,即可将选定表的查询语句导入SQL语句编辑窗口中,单击“执行”,即可完成查询。
  • 可以将表名、列名直接拖拽入作业编辑窗口中,编写SQL语句。
  • 可以通过单击“更多”,选择“设为模板”,将对应的SQL语句保存为模板,供将来执行使用。

需要使用时,通过单击“更多”,选择“选择模板”,在已有模板中双击所需的SQL语句,导入SQL作业编辑窗口中,单击“执行”,或根据需要进行修改后执行。

  • 可以批量执行SQL语句。
  • 作业编辑窗口的特点。

作业编辑窗口具有以下三个特点。

-颜色突出显示 - 常用语法采用不同颜色突出显示。

-注释支持 - 支持单行注释和多行注释。以“--”开头,后续内容即为注释。

-光标位置显示 - 可以用于确认位于作业编辑窗口内的鼠标光标的列号和行号。

相似文档
  • 本章节主要介绍 SQL作业管理 。 SQL作业包括在SQL编辑器窗口执行SQL语句,导入数据和导出数据等操作。 SQL作业管理主要包括如下功能: 查找作业:筛选符合对应条件的作业。 查看作业详情:显示作业的详细信息。 终止作业:终止“提交中”或“运行中”的作业。
  • 本章节主要介绍 Flink作业管理概述 。 在Flink作业管理页面可提交Flink作业。目前有以下作业类型: Flink SQL作业:使用SQL语句定义作业,可以提交到通用队列上。 Flink Jar作业:基于Flink API的自定义Jar包作业,可以运行在独享队列上。
  • 本章节主要介绍 Flink作业权限管理。 Flink作业权限操作场景: 针对不同用户,可以通过权限设置分配不同的作业,不同用户之间的作业效率互不影响,保障作业性能。 管理员用户和作业的所有者拥有所有权限,不需要进行权限设置且其他用户无法修改其作业权限。
  • 本章节主要介绍准备Flink作业数据。 创建Flink作业需要输入数据源和数据输出通道,即常说的Source和Sink。用户使用其他服务作为数据源或输出通道时,需要先开通相应服务。 Flink作业支持以下数据源和输出通道: DIS数据源和输出通道。
  • 本章节主要介绍 创建Flink SQL作业 。 Flink SQL是一种由用户根据自己的逻辑需求编写作业的方式。用SQL表达业务逻辑,可以简便快捷的实现业务。目前Flink SQL作业支持两种Flink SQL语句编辑方式:SQL编辑器和可视化编辑器。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部