上云无忧 > 文档中心 > 天翼云数据湖探索使用教程 - 准备Flink作业数据
数据湖探索
天翼云数据湖探索使用教程 - 准备Flink作业数据

文档简介:
本章节主要介绍准备Flink作业数据。 创建Flink作业需要输入数据源和数据输出通道,即常说的Source和Sink。用户使用其他服务作为数据源或输出通道时,需要先开通相应服务。 Flink作业支持以下数据源和输出通道: DIS数据源和输出通道。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

创建Flink作业需要输入数据源和数据输出通道,即常说的Source和Sink。用户使用其他服务作为数据源或输出通道时,需要先开通相应服务。

Flink作业支持以下数据源和输出通道:

  • DIS数据源和输出通道

如果用户作业需要DIS作为数据源和输出通道时,则要先开通数据接入服务(DIS)。

用户如何开通DIS服务,具体操作请参见《数据接入服务用户指南》中的“开通DIS通道”章节。

申请DIS通道后,用户可以将本地数据通过DIS通道不断上传至DIS服务,实现向Flink作业提供实时流数据源,具体操作请参见《数据接入服务用户指南》中的“发送数据到DIS服务”章节。

样例数据如下所示:

1,lilei,bmw320i,28
2,hanmeimei,audia4,27复制
  • OBS数据源

如果用户作业需要对象存储服务(OBS)作为数据源,则要先开通OBS服务,具体操作请参见《对象存储服务控制台指南》中的“开通OBS服务”章节。

开通OBS服务后,用户需要将本地文件通过Internet上传至OBS指定的位置,具体操作请参见《对象存储服务控制台指南》中的“上传文件”章节。

  • RDS输出通道

如果用户作业需要RDS作为输出通道,需要创建RDS实例,具体操作请参见《关系型数据库用户指南》中“创建实例”章节。

  • SlMN输出通道

如果用户作业需要SMN作为输出通道,需要先在SMN中创建主题,获取URN资源标识,再添加订阅。具体操作请参见《消息通知服务用户指南》中“快速入门”章节。

  • Kafka数据源和输出通道

如果用户作业需要Kafka作为数据源和输出通道,则必须要通过创建增强型跨源连接与Kafka进行对接,具体操作请参见增强型跨源连接。

如果Kafka服务端的端口监听在hostname上,则需要将Kafka Broker节点的hostname和ip的对应关系添加到跨源连接中。

  • CloudTable数据源和输出通道

如果用户作业需要CloudTable作为数据源和输出通道,需要先在CloudTable中创建集群,获取集群ID。

  • 云搜索服务输出通道

如果用户作业需要云搜索服务作为输出通道,需要先在云搜索服务中创建集群,获取集群内网访问地址。具体操作请参见《云搜索服务用户指南》中的“快速入门”章节。

  • DCS输出通道

如果用户作业需要DCS作为输出通道,需要先在DCS中创建Redis类型的缓存实例,获取Redis实例连接地址。具体操作请参见《分布式缓存服务用户指南》中的“快速入门”章节。

相似文档
  • 本章节主要介绍 创建Flink SQL作业 。 Flink SQL是一种由用户根据自己的逻辑需求编写作业的方式。用SQL表达业务逻辑,可以简便快捷的实现业务。目前Flink SQL作业支持两种Flink SQL语句编辑方式:SQL编辑器和可视化编辑器。
  • 本章节介绍如何新建FlinkJar作业。 用户可以基于Flink的API进行二次开发,构建自己的应用Jar包并提交到DLI的队列运行,DLI完全兼容开源社区接口。此功能需要用户自己编写并构建应用Jar包,适合对Flink二次开发有一定了解,并对流计算处理复杂度要求较高的用户。
  • 本章节主要介绍调试Flink作业。 调试作业功能可以帮助用户在正式运行作业前,检测用户编写的SQL语句逻辑的正确性。 说明: 目前只有Flink SQL作业支持本功能。 作业调试功能只用于验证SQL逻辑,不会有数据写入操作。
  • 本章节主要介绍 操作Flink作业。 用户创建了新作业后,需要根据用户的实际需求对作业进行操作,具体操作有如下几种: 编辑作业、 启动作业、 停止作业、 删除作业、 导出作业、 导入作业、 名称和描述修改、 导入保存点、 触发保存点、 运行时配置。
  • 本章节主要介绍Flink作业详情。 创建作业后,用户可以通过查看作业详情,了解如下信息。 查看作业详情、 查看作业监控、 查看作业任务列表、 查看作业执行计划、 查看提交作业日志、 查看作业运行日志。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部