上云无忧 > 文档中心 > 天翼云数据治理中心 DataArts Studio 数据开发 - 配置数据血缘
数据治理中心 DataArts Studio
天翼云数据治理中心 DataArts Studio 数据开发 - 配置数据血缘

文档简介:
本章节主要介绍节点数据血缘的配置数据血缘。 在DataArts Studio平台,自动分析血缘是通过在数据开发模块中配置数据处理迁移类型的节点产生的,当前支持采集节点静态配置产生的血缘和部分节点实例上的血缘。详情请参见下方 自动分析血缘。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

在DataArts Studio平台,自动分析血缘是通过在数据开发模块中配置数据处理迁移类型的节点产生的,当前支持采集节点静态配置产生的血缘和部分节点实例上的血缘。详情请参见下方 自动分析血缘。

另外,DataArts Studio平台还支持手动配置血缘方式,当用户手动配置血缘时,自动分析血缘将不生效。详情请参见下方 手动配置血缘。

自动分析血缘

自动分析血缘是通过在数据开发模块中配置数据处理迁移类型的节点产生的,当作业中包含如下节点时,系统支持自动解析血缘。

SQL类型节点

DataArts Studio目前支持对DLI SQL、DWS SQL和MRS Hive SQL节点的血缘解析,可以支持多SQL解析及列级血缘解析,当语句中有临时表时,会自动在数据目录中创建相关的临时表实体。

− DLI SQL

  • 支持解析DLI中表与表之间数据插入产生的血缘。
  • 支持通过建表语句产生的OBS文件到DLI表之间的血缘。

− DWS SQL

  • 支持Create table like/as等DDL操作产生的DWS表之间的血缘。
  • 支持Insert into等DML操作产生的DWS表之间的血缘。

− MRS Hive SQL

  • 支持Create table like/as等DDL操作产生的MRS表之间的血缘。
  • 支持Insert into/overwrite等DML操作产生的MRS表之间的血缘。

数据集成类型节点

目前支持对CDM Job节点、ETL Job节点和OBS Manager节点的血缘解析。

− CDM Job

支持MRS Hive、DLI、DWS、RDS、OBS以及CSS之间表文件迁移所产生的血缘。

− ETL Job

支持DLI、OBS、MySQL以及DWS之间的ETL任务产生的血缘。

− OBS Manager

支持OBS之间目录和文件复制迁移产生的血缘。

说明

当前血缘解析能力,单条sql语句不支持sql中含有分号的场景。

手动配置血缘

在DataArts Studio数据开发中,用户也可以自己定义节点的输入、输出血缘关系。当用户手动配置血缘时,自动分析血缘将不生效。手动配置血缘不会影响作业的运行。

目前手动配置血缘时输入、输出数据源支持DLI、DWS、Hive、CSS、OBS和CUSTOM。CUSTOM即自定义类型,在手动配置血缘时,对于不支持的数据源,您可以添加为自定义类型。

支持手动配置血缘的节点类型如下所示,关于手动配置血缘的更多内容,请参见相关节点的详细介绍。

  • CDM Job
  • Rest Client
  • DLI SQL
  • DLI Spark
  • DWS SQL
  • MRS Spark SQL
  • MRS Hive SQL
  • MRS Presto SQL
  • MRS Spark
  • MRS Spark Python
  • ETL Job
  • OBS Manager
相似文档
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部