天翼云数据湖探索购操作类见问题QA
文档简介:
本章节主要介绍数据湖探索(DLI)的操作类常见问题。
Q:Flink作业如何保存作业日志?
A:1.在创建Flink SQL作业或者Flink Jar作业时,可以在作业编辑页面,勾选“保存作业日志”参数,将作业运行时的日志信息保存到OBS。
Flink作业如何保存作业日志?
1.在创建Flink SQL作业或者Flink Jar作业时,可以在作业编辑页面,勾选“保存作业日志”参数,将作业运行时的日志信息保存到OBS。
2.勾选“保存作业日志”参数后,需配置“OBS桶”参数,选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态,需要单击“OBS授权”。
3.日志信息的保存路径为:“桶名/jobs/logs/作业id开头的目录”。其中,“桶名”可以自定义。“/jobs/logs/作业id开头的目录”为固定格式。
4.在作业列表中,单击对应的作业名称,然后在“运行日志”页签,可以单击页面提供的OBS链接跳转至对应的路径下。
Flink SQL作业消费Kafka后sink到es集群,作业执行成功,但未写入数据,怎样处理?
- 问题现象
客户创建Flink SQL作业,消费Kafka后sink到es集群,作业执行成功,但无数据。
- 原因分析
查看客户作业脚本内容,排查无问题,作业执行成功,出现该问题可能的原因如下:
-数据不准确。
-数据处理有问题。
- 处理步骤
- 在Flink UI查看task日志,发现报错中提到json体,基本确定原因为数据格式问题。
- 排查客户实际数据,发现客户Kafka数据存在多层嵌套的复杂json体。不支持解析。
-
有两种方式解决此问题:
-通过udf成jar包的形式
-修改配置 - 修改源数据格式,再次执行作业,无问题。
Flink Jar 包冲突,导致提交失败,怎样处理?
- 问题描述
用户Flink程序的依赖包与DLI Flink平台的内置依赖包冲突,导致提交失败。
- 解决方案
查看是否已包含DLI Flink运行平台中已经存在的包,如果存在,则需要将自己的Jar包删除。
DLI队列管理是否支持修改描述内容,怎样处理?
目前已经创建完成的队列不支持修改描述内容,只能在购买队列时进行添加。