上云无忧 > 文档中心 > 天翼云数据湖探索使用教程 - 调试Flink作业
数据湖探索
天翼云数据湖探索使用教程 - 调试Flink作业

文档简介:
本章节主要介绍调试Flink作业。 调试作业功能可以帮助用户在正式运行作业前,检测用户编写的SQL语句逻辑的正确性。 说明: 目前只有Flink SQL作业支持本功能。 作业调试功能只用于验证SQL逻辑,不会有数据写入操作。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

调试作业功能可以帮助用户在正式运行作业前,检测用户编写的SQL语句逻辑的正确性。

说明

目前只有Flink SQL作业支持本功能。

作业调试功能只用于验证SQL逻辑,不会有数据写入操作。

调试作业步骤

1.在DLI管理控制台的左侧导航栏中,单击“作业管理”>“Flink作业”,进入“Flink作业”页面。

2.在已创建的Flink SQL作业“操作”列中,单击“编辑”,进入Flink SQL作业编辑页面。

如果是正在创建的新作业,可直接在“编辑”页面中,对作业进行调试。

3.单击“编辑”页面的“调试”,对已经编辑好的SQL语句进行解析。“编辑”页面右侧自动跳转到“调试参数”页签。

  • “调试结果转储地址”:选择OBS桶用于保存调试日志,如果选择未授权的桶,单击“OBS授权”进行授权。
  • “数据输入方式”:可选择保存在OBS桶中的CSV数据,也可手动录入。

−选择“OBS(CSV)”方式

用户将OBS服务作为数据源,需要与OBS服务对接,在使用DLI服务前,需要先准备OBS数据,具体请参见 准备Flink作业数据。OBS方式的数据输入格式为CSV,以换行分隔多条记录,以逗号分隔单条记录中不同字段。同时,用户需要选择OBS中具体的对象作为输入源数据。

−选择“手动录入”方式

用户编写SQL语句作为数据源。手动录入方式需要填写单条记录的每一个字段值。

4.单击“开始调试”,调试完毕会弹出“调试结果”页面。

  • 如果调试结果符合预期,说明作业可以正常运行。
  • 如果调试结果不符合预期,说明作业业务逻辑可能存在问题,请修改SQL语句后再重新调试。
相似文档
  • 本章节主要介绍 操作Flink作业。 用户创建了新作业后,需要根据用户的实际需求对作业进行操作,具体操作有如下几种: 编辑作业、 启动作业、 停止作业、 删除作业、 导出作业、 导入作业、 名称和描述修改、 导入保存点、 触发保存点、 运行时配置。
  • 本章节主要介绍Flink作业详情。 创建作业后,用户可以通过查看作业详情,了解如下信息。 查看作业详情、 查看作业监控、 查看作业任务列表、 查看作业执行计划、 查看提交作业日志、 查看作业运行日志。
  • 本章节主要介绍Spark作业管理概述。 DLI在开源Spark基础上进行了大量的性能优化与服务化改造,兼容Apache Spark生态和接口,执行批处理任务。 DLI还支持使用Spark作业访问DLI元数据。
  • 本章节主要介绍创建Spark作业。 Spark作业编辑页面支持执行Spark作业,为用户提供全托管式的Spark计算服务。 在总览页面,单击Spark作业右上角的“创建作业”,或在Spark作业管理页面,单击右上角的“创建作业”,均可进入Spark作业编辑页面。
  • 本章节主要介绍队列管理概述。 队列: DLI服务中的队列即为计算资源,计算资源是使用DLI服务的基础,用户执行的一切作业都需要使用计算资源。 当前DLI服务包括“SQL队列”和“通用队列”两种队列类型。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部