上云无忧 > 文档中心 > 天翼云数据湖探索购操作类见问题QA
数据湖探索
天翼云数据湖探索购操作类见问题QA

文档简介:
本章节主要介绍数据湖探索(DLI)的操作类常见问题。 Q:Flink作业如何保存作业日志? A:1.在创建Flink SQL作业或者Flink Jar作业时,可以在作业编辑页面,勾选“保存作业日志”参数,将作业运行时的日志信息保存到OBS。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

Flink作业如何保存作业日志?

1.在创建Flink SQL作业或者Flink Jar作业时,可以在作业编辑页面,勾选“保存作业日志”参数,将作业运行时的日志信息保存到OBS。

2.勾选“保存作业日志”参数后,需配置“OBS桶”参数,选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态,需要单击“OBS授权”。

3.日志信息的保存路径为:“桶名/jobs/logs/作业id开头的目录”。其中,“桶名”可以自定义。“/jobs/logs/作业id开头的目录”为固定格式。

4.在作业列表中,单击对应的作业名称,然后在“运行日志”页签,可以单击页面提供的OBS链接跳转至对应的路径下。

Flink SQL作业消费Kafka后sink到es集群,作业执行成功,但未写入数据,怎样处理?

  • 问题现象

客户创建Flink SQL作业,消费Kafka后sink到es集群,作业执行成功,但无数据。

  • 原因分析

查看客户作业脚本内容,排查无问题,作业执行成功,出现该问题可能的原因如下:

-数据不准确。

-数据处理有问题。

  • 处理步骤
  1. 在Flink UI查看task日志,发现报错中提到json体,基本确定原因为数据格式问题。
  2. 排查客户实际数据,发现客户Kafka数据存在多层嵌套的复杂json体。不支持解析。
  3. 有两种方式解决此问题:
    -通过udf成jar包的形式
    -修改配置
  4. 修改源数据格式,再次执行作业,无问题。

Flink Jar 包冲突,导致提交失败,怎样处理?

  • 问题描述

用户Flink程序的依赖包与DLI Flink平台的内置依赖包冲突,导致提交失败。

  • 解决方案

查看是否已包含DLI Flink运行平台中已经存在的包,如果存在,则需要将自己的Jar包删除。

DLI队列管理是否支持修改描述内容,怎样处理?

目前已经创建完成的队列不支持修改描述内容,只能在购买队列时进行添加。

相似文档
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部