上云无忧 > 文档中心 > 天翼云数据湖探索使用教程 - 使用TPC-H样例模板开发并提交Spark SQL作业
数据湖探索
天翼云数据湖探索使用教程 - 使用TPC-H样例模板开发并提交Spark SQL作业

文档简介:
本章节主要介绍使用TPC-H样例模板开发并提交Spark SQL作业。 为了便捷快速的执行SQL操作,DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后,不需编写SQL语句,可通过模板直接执行SQL操作。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

为了便捷快速的执行SQL操作,DLI支持定制模板或将正在使用的SQL语句保存为模板。保存模板后,不需编写SQL语句,可通过模板直接执行SQL操作。

当前系统提供了多条标准的TPC-H查询语句模板,可以根据当前需求选择使用。本样例演示通过一个TPC-H样例模板开发并提交Spark SQL作业的基本流程:

登录云

  1. 打开产品首页。
  2. 在登录页面输入“帐号名”和“密码”,单击“登录”。

登录DLI管理控制台

  1. 在列表中,选择“数据湖探索 DLI”。
  2. 进入DLI管理控制台页面。

说明 :第一次进入数据湖探索管理控制台需要进行授权,具体请参考《数据湖探索用户指南》>《全局配置》>《服务授权》。

执行TPC-H样例模板并查看结果

  1. 在DLI管理控制台,选择“作业模板”>“SQL模板”>“样例模板”,在“tpchQuery”下选择“Q1_价格摘要报告查询”样例模板,单击操作列的“执行”进入“SQL编辑器”。
  2. 在“SQL编辑器”页面右侧的编辑窗口上方,“执行引擎”选择“spark”,“队列”选择“default”,“数据库”选择“default”,单击“执行”。
  3. SQL作业编辑窗口下方“查看结果”页签查看查询结果。

本示例使用系统预置的“default”队列和数据库进行演示,也可以在自建的队列和数据库下执行。

创建队列请参考《数据湖探索用户指南》>《创建队列》。创建数据库请参考《数据湖探索用户指南》下的“数据管理 > 库表管理 > 创建数据库和表”。

相似文档
  • 本章节主要介绍创建并提交Spark Jar作业 。 使用DLI提交Spark作业进行实时计算。基本流程如下: 1.登录云。 2.上传数据至OBS。 3.登录DLI管理控制台。 4.创建队列。 5.创建程序包。 6.提交Spark作业。
  • 本章节主要介绍创建并提交Flink SQL作业 。 使用DLI提交Flink SQL作业进行实时计算。基本流程如下: 1.登录云。 2.准备数据源和数据输出通道。 3.创建OBS桶保存输出数据。 4.登录DLI管理控制台。 5.创建队列。 6.创建增强型跨源连接。 7.创建跨源认证。 8.配置安全组规则和测试地址连通性。 9.创建FlinkSQL作业。
  • 本章节主要介绍数据湖探索(DLI)的权限管理。 DLI服务不仅在服务本身有一套完善的权限控制机制,同时还支持通过统一身份认证服务(Identity and Access Management,简称IAM)细粒度鉴权,可以通过在IAM创建策略来管理DLI的权限控制。
  • 本章节主要介绍数据湖探索(DLI)如何创建用户并授权使用。 本章节通过简单的用户组授权方法,将DLI服务的策略授予用户组,并将用户添加至用户组中,从而使用户拥有对应的DLI权限。操作流程如下图所示。
  • 本章节主要介绍数据湖探索(DLI)如何创建自定义策略。 如果系统预置的DLI权限,不满足您的授权要求,可以创建自定义策略。 目前云支持以下两种方式创建自定义策略: 可视化视图创建自定义策略:无需了解策略语法,按可视化视图导航栏选择云服务、操作、资源、条件等策略内容,可自动生成策略。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部