上云无忧 > 文档中心 > 天翼云数据湖探索使用教程 - 跨源连接和跨源分析概述
数据湖探索
天翼云数据湖探索使用教程 - 跨源连接和跨源分析概述

文档简介:
本章节主要介绍跨源连接和跨源分析概述。 DLI支持原生Spark的DataSource能力,并在其基础上进行了扩展,能够通过SQL语句、Spark作业或者Flink作业访问其他数据存储服务并导入、查询、分析处理其中的数据。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

DLI支持原生Spark的DataSource能力,并在其基础上进行了扩展,能够通过SQL语句、Spark作业或者Flink作业访问其他数据存储服务并导入、查询、分析处理其中的数据。

跨源连接

在使用DLI进行跨源分析前,需要先建立跨源连接,打通数据源之间的网络。

DLI增强型跨源连接底层采用对等连接,直接打通DLI队列与目的数据源的VPC网络,通过点对点的方式实现数据互通。

注意
  • 系统default队列不支持创建跨源连接。

  • 跨源连接需要使用VPC、子网、路由、对等连接功能,因此需要获得VPC(虚拟私有云)的VPC Administrator权限。可在 [服务授权](https://www.ctyun.cn/document/10014065/10118941)中进行设置。

跨源分析

增强型跨源支持DLI服务已实现的所有跨源业务,并且通过可以UDF、Spark作业和Flink作业等方式实现与自建数据源之间的访问。

目前DLI支持跨源访问的数据源包括:CloudTable HBase,CloudTable OpenTSDB,CSS,DCS Redis,DDS Mongo,DIS,DMS Kafka,DWS,MRS HBase,MRS Kafka,MRS OpenTSDB,OBS,RDS MySQL,RDS PostGre,SMN。

说明

访问跨源表需要使用已经创建跨源连接的队列。

跨源表不支持Preview预览功能。

跨源分析流程

使用DLI进行跨源分析,需要先建立跨源连接,再开发不同的作业访问数据源。操作步骤如下:

  1. 创建跨源连接。包括以下两种创建方式:
  • 通过管理控制台创建跨源连接。
  • 通过API接口创建创建跨源连接。
  1. 开发DLI作业访问数据源。包括以下三种访问方式:
  • 开发SQL作业访问数据源。
  • 开发Spark作业访问数据源。
  • 开发Flink作业访问数据源

以下分别为开发SQL作业、Spark作业和Flink作业进行跨源连接的基本流程。

详见下图:跨源分析流程

  • SQL作业

详见下图:跨源分析流程

  • Flink作业

    详见下图: Flink跨源分析流程

相似文档
  • 本章节主要介绍增强型跨源连接概述。 增强型跨源连接概述: DLI 增强型跨源连接底层采用对等连接,直接打通DLI集群与目的数据源的vpc网络,通过点对点的方式实现数据互通。增强型跨源支持所有DLI服务已实现的跨源业务,包括CloudTable的Hbase和OpenTSDB,MRS的OpenTSDB,DWS,RDS,CSS,DCS,DDS等数据源。
  • 本章节主要介绍创建/查找/删除增强型跨源连接。 创建增强型跨源连接: 以创建MRS服务HBase跨源连接为例进行说明。 注意: 只支持通过增强型跨源访问MRS HBase。
  • 本章节主要介绍绑定/解绑队列。 约束限制: 绑定跨源的DLI队列网段和数据源网段不能重合。 不支持绑定系统预置的default队列。 绑定队列: 使用增强型跨源连接之前必须绑定队列且对等连接的状态是“active”。
  • 本章节主要介绍修改主机信息 。 修改主机信息: 方法一:通过MRS 节点的“/etc/hosts ”信息填写。 以root用户登录MRS的任意一个主机节点。 执行以下命令获取MRS对应主机节点的hosts信息,复制保存。
  • 本章节主要介绍自定义路由信息。 创建增强型跨源连接并绑定队列后,系统会自动配置路由。同时,您也可以为所绑定的队列添加自定义路由。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部