上云无忧 > 文档中心 > 天翼云数据治理中心 DataArts Studio 管理中心 - 创建数据连接
数据治理中心 DataArts Studio
天翼云数据治理中心 DataArts Studio 管理中心 - 创建数据连接

文档简介:
本章节主要介绍创建数据连接。 通过配置数据源信息,可以建立数据连接。DataArts Studio基于管理中心的数据连接对数据湖底座进行数据开发、治理、服务和运营。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

通过配置数据源信息,可以建立数据连接。DataArts Studio基于管理中心的数据连接对数据湖底座进行数据开发、治理、服务和运营。

约束限制

  • RDS数据连接方式依赖于OBS。如果没有与DataArts Studio同区域的OBS,则不支持RDS数据连接。
  • 当所连接的数据湖发生变化(如MRS集群扩容等情况)时,您需要重新编辑并保存该连接。

前提条件

  • 在创建数据连接前,请确保您已创建所要连接的数据湖(如DataArts Studio所支持的数据库、云服务等)。
  1. 在创建DWS类型的数据连接前,您需要先在DWS服务中创建集群,并且具有KMS密钥的查看权限。
  2. 在创建MRS HBase、MRS Hive、MRS Kafka、MRS Ranger、MRS Spark、MRS Presto类型的数据连接前,需确保您已创建MRS集群,并且在创建数据链接时已创建选择所需要的组件。
  3. 在创建RDS类型的数据连接前,请确保您已创建RDS数据库实例。DataArts Studio平台目前仅支持RDS中的MySQL和PostgreSQL数据库引擎。
  • 在创建数据连接前,请确保待连接的数据湖与DataArts Studio实例之间网络互通。
  1. 如果数据湖为云下的数据库,则需要通过公网或者专线打通网络,确保数据源所在的主机可以访问公网,并且防火墙规则已开放连接端口。
  2. 如果数据湖为云上服务(如DWS、MRS等),则网络互通需满足如下条件:

①DataArts Studio实例(指DataArts Studio实例中的CDM集群)与云上服务处于不同区域的情况下,需要通过公网或者专线打通网络。

②DataArts Studio实例(指DataArts Studio实例中的CDM集群)与云上服务同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但是子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见《虚拟私有云》帮助文档中的“添加路由信息”章节,配置安全组规则请参见《虚拟私有云》帮助文档中的“安全组 > 添加安全组规则”章节。

③此外,您还必须确保该云服务的实例与DataArts Studio工作空间所属的企业项目必须相同,如果不同,您需要修改工作空间的企业项目。

创建数据连接

  • 在DataArts Studio控制台首页,选择对应工作空间的“管理中心”模块,进入管理中心页面。详见下图“选择管理中心”

  • 在管理中心页面,单击“数据连接”,进入数据连接页面。详见下图“创建数据连接”

  • 单击“创建数据连接”,在弹出的对话框中,选择“数据连接类型”,详见下图“创建数据连接”并参见下表配置相关参数。

数据连接类型 参数说明
MRS Hive 请参见表MRS Hive数据连接
MRS HBase 请参见表MRS HBase数据连接
MRS Kafka 请参见表MRS Kafka数据连接
DWS 请参见表DWS数据连接
DLI 请参见表DLI数据连接
ORACLE 请参见表Oracle数据连接
MRS Spark 请参见表MRS Spark数据连接
RDS 请参见表RDS数据连接。 RDS连接类型还支持创建与部分关系型数据库的连接,如MySQL/PostgreSQL/达梦数据库DM等。
主机连接 请参见表主机连接
  • 单击“测试”,测试数据连接的连通性。如果无法连通,数据连接将无法创建。
  • 测试通过后,单击“确定”,完成数据连接的创建。

数据连接参数说明

MRS Hive数据连接详见下表

参数 是否必选 说明
数据连接名称 数据连接的名称,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符。
标签 标识数据连接的属性。设置标签后,便于统一管理。
说明
标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头。且长度不能超过100个字符。.
集群名 选择Hive所属的MRS集群。如果在下拉列表中无法显示MRS集群,请检查MRS集群与DataArts Studio实例是否网络互通。
需确保MRS集群和DataArts Studio实例之间网络互通,网络互通需满足如下条件:
DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。
DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见《虚拟私有云》帮助文档中的“自定义路由(Region TypeⅠ)>添加路由信息”章节,配置安全组规则请参见《虚拟私有云》帮助文档中的“安全组>添加安全组规则”章节。
此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
连接方式 选择所需的连接方式,推荐使用“通过代理连接”。
通过代理连接:通过Agent(即CDM集群)进行代理,以MRS集群的用户名和密码访问MRS集群。代理连接方式支持MRS所有版本的集群。
MRS API连接:以MRS API的方式访问MRS集群。
MRS API连接仅支持2.X及更高版本的MRS集群。
选择MRS API连接时,有以下约束:
1. 无法查看表和字段。
2. 在SQL编辑器运行SQL时,只能以日志形式显示执行结果。
3. 数据治理(如数据架构、数据质量、数据目录等组件)功能无法使用MRS API连接。
说明
为保证数据架构、数据质量、数据目录、数据服务等组件能够使用此MRS连接,此处连接方式推荐配置为“通过代理连接”。
用户名 MRS集群的用户名,通过代理连接的时候,是必选项。如果使用新建的MRS用户进行连接,您需要先登录Manager页面,并更新初始密码。
如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以参考下方“创建MRS安全集群的kerberos认证用户”创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。
说明
MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。
MRS 3.1.0版本之前的集群,所创建的用户需要具备Manager_administrator或System_administrator权限,才能在管理中心创建连接。
仅具备Manager_tenant或Manager_auditor权限,无法创建连接。
密码 MRS集群的访问密码,通过代理连接的时候,是必选项。
KMS密钥 KMS密钥名称。通过代理连接的时候,是必选项。
绑定Agent 通过代理连接的时候,是必选项。
MRS为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建MRS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先通过数据集成增量包进行创建。
CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区、VPC和子网,安全组规则需允许两者网络互通。

MRS HBase数据连接详见下表

参数 是否必选 说明
数据连接名称 数据连接的名称,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符。
标签 标识数据连接的属性。设置标签后,便于统一管理。
说明
标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头。且长度不能超过100个字符。
集群名 选择HBase所属的MRS集群。如果在下拉列表中无法显示MRS集群,请检查MRS集群与DataArts Studio实例是否网络互通。
需确保MRS集群和DataArts Studio实例之间网络互通,网络互通需满足如下条件:
DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。
DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见《虚拟私有云》帮助文档中的“自定义路由(Region TypeⅠ)>添加路由信息”章节,配置安全组规则请参见《虚拟私有云》帮助文档中的“安全组>添加安全组规则”章节。
此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
用户名 MRS集群的用户名。
如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以参考下方“创建MRS安全集群的kerberos认证用户”创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。
说明
MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。
MRS 3.1.0版本之前的集群,所创建的用户需要具备Manager_administrator或System_administrator权限,才能在管理中心创建连接。
仅具备Manager_tenant或Manager_auditor权限,无法创建连接。
密码 MRS集群的访问密码。
KMS密钥 KMS密钥名称。
绑定Agent MRS为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。
CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建MRS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先通过数据集成增量包进行创建。 CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区、VPC和子网,安全组规则需允许两者网络互通。

MRS Kafka数据连接详见下表

参数 是否必选 说明
数据连接名称 数据连接的名称,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符。
标签 标识数据连接的属性。设置标签后,便于统一管理。
说明
标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头。且长度不能超过100个字符。
集群名 选择Kafka所属的MRS集群。如果在下拉列表中无法显示MRS集群,请检查MRS集群与DataArts Studio实例是否网络互通。
需确保MRS集群和DataArts Studio实例之间网络互通,网络互通需满足如下条件:
DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。
DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见《虚拟私有云》帮助文档中的“自定义路由(Region TypeⅠ)>添加路由信息”章节,配置安全组规则请参见《虚拟私有云》帮助文档中的“安全组>添加安全组规则”章节。
此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
用户名 MRS集群的用户名。
如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以参考下方“创建MRS安全集群的kerberos认证用户”创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。
说明
MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。
MRS 3.1.0版本之前的集群,所创建的用户需要具备Manager_administrator或System_administrator权限,才能在管理中心创建连接。
仅具备Manager_tenant或Manager_auditor权限,无法创建连接。
密码 MRS集群的访问密码。
KMS密钥 KMS密钥名称。
绑定Agent MRS为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建MRS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先通过数据集成增量包进行创建。
CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区、VPC和子网,安全组规则需允许两者网络互通。

MRS Spark数据连接详见下表

参数 是否必选 说明
数据连接名称 数据连接的名称,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符。
标签 标识数据连接的属性。设置标签后,便于统一管理。
说明
标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头。且长度不能超过100个字符。
集群名 选择Spark所属的MRS集群名称。如果在下拉列表中无法显示MRS集群,请检查MRS集群与DataArts Studio实例是否网络互通。
需确保MRS集群和DataArts Studio实例之间网络互通,网络互通需满足如下条件:
DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。
DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见《虚拟私有云》帮助文档中的“自定义路由(Region TypeⅠ)>添加路由信息”章节,配置安全组规则请参见《虚拟私有云》帮助文档中的“安全组>添加安全组规则”章节。
此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
连接方式 选择所需的连接方式,推荐使用“通过代理连接”。
通过代理连接:通过Agent(即CDM集群)进行代理,以MRS集群的用户名和密码访问MRS集群。代理连接方式支持MRS所有版本的集群。
MRS API连接:以MRS API的方式访问MRS集群。MRS API连接仅支持2.X及更高版本的MRS集群。 选择MRS API连接时,有以下约束:
1. 无法查看表和字段。
2. 在SQL编辑器运行SQL时,只能以日志形式显示执行结果。
3. 数据治理(如数据架构、数据质量、数据目录等组件)功能无法使用MRS API连接。
说明
为保证数据架构、数据质量、数据目录、数据服务等组件能够使用此MRS连接,此处连接方式推荐配置为“通过代理连接”。
用户名 MRS集群的用户名,通过代理连接的时候,是必选项。如果使用新建的MRS用户进行连接,您需要先登录Manager页面,并更新初始密码。
如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以参考下方“创建MRS安全集群的kerberos认证用户”创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。
说明
MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。
MRS 3.1.0版本之前的集群,所创建的用户需要具备Manager_administrator或System_administrator权限,才能在管理中心创建连接。
仅具备Manager_tenant或Manager_auditor权限,无法创建连接。
密码 MRS集群的访问密码,通过代理连接的时候,是必选项。
KMS密钥 KMS密钥名称。通过代理连接的时候,是必选项。
绑定Agent 通过代理连接的时候,是必选项。
MRS为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建MRS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先通过数据集成增量包进行创建。
CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区、VPC和子网,安全组规则需允许两者网络互通。

RDS数据连接详见下表

参数 是否必选 说明
数据连接名称 数据连接的名称,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符。
标签 标识数据连接的属性。设置标签后,便于统一管理。
说明
标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头。且长度不能超过100个字符。
IP RDS的访问地址。
如果为RDS数据源,可以通过RDS管理控制台获取访问地址:
1. 根据创建的帐号登录管理控制台。
2. 单击“云数据库RDS”,从左侧列表选择实例管理。
3. 单击某一个实例名称,进入实例基本信息页面。 在连接信息标签中可以获取到内网地址。
端口 RDS的访问端口。
如果为RDS数据源,可以通过RDS管理控制台获取访问端口:
1. 根据的帐号登录管理控制台。
2. 单击“云数据库RDS”,左侧列表选择实例管理。
3. 单击某一个实例名称,进入实例基本信息页面。 在连接信息标签中可以获取到数据库端口。
驱动程序名称 驱动程序名称:
com.mysql.jdbc.Driver
org.postgresql.Driver
驱动文件路径 驱动文件在OBS上的路径。需要您自行到官网下载.jar格式驱动并上传至OBS中。
MySQL驱动:获取地址https://downloads.mysql.com/archives/c-j/,建议5.1.48版本。
PostgreSQL驱动:获取地址https://jdbc.postgresql.org/download.html,建议42.1.4版本。
说明
如果需要更新驱动文件,则需要先在数据集成页面重启CDM集群,然后通过编辑数据连接的方式重新选择新版本驱动,更新驱动才能生效。
用户名 数据库的用户名,创建集群的时候,输入的用户名。
密码 数据库的访问密码,创建集群的时候,输入的密码。
KMS密钥 KMS密钥名称。 通过KMS管理控制台获取密钥名称:
1. 根据的帐号登录管理控制台。
2. 单击“密钥管理服务”,左侧列表选择密钥管理。 在密钥列表可以获取到密钥名称。
绑定Agent RDS为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建RDS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先通过数据集成增量包进行创建。
CDM集群作为网络代理,必须和RDS网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和RDS处于相同的区域、可用区、VPC和子网,安全组规则需允许两者网络互通。

DWS数据连接详见下表

参数 是否必选 说明
数据连接名称 数据连接的名称,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符。
标签 标识数据连接的属性。设置标签后,便于统一管理。
说明
标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头。且长度不能超过100个字符。
手动 通过单击或来关闭或开启手动开关:
当“手动”关闭时候,“IP”和“端口”不需要填写。
当“手动”打开时候,“IP”和“端口”需要填写。
IP “手动”打开时需要填写该项,表示通过内部网络访问集群数据库的IP地址。内网访问IP地址在创建集群时自动生成。
端口 “手动”打开时需要填写该项,表示创建DWS集群时指定的数据库端口号。请确保您已在安全组规则中开放此端口,以便DataArts Studio实例可以通过该端口连接DWS集群数据库。
SSL连接 DWS支持SSL通道加密和证书认证两种方式进行客户端与服务器端的通信。您可以通过服务器端是否强制使用SSL连接进行设置。开关打开,即只能通过SSL方式连接。开关关闭,即两种方式均可。默认关闭。
集群名 选择DWS集群。
用户名 数据库的用户名,创建DWS集群时指定的用户名。
密码 数据库的访问密码,创建DWS集群时指定的密码。
KMS密钥 KMS密钥名称。
连接方式 选择所需的连接方式,推荐使用“通过代理连接”。
通过代理连接:通过Agent(即CDM集群)进行代理连接访问DWS集群。
直接连接:直接访问DWS集群。
绑定Agent 通过代理连接的时候,是必选项。 DWS为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建DWS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先通过数据集成增量包进行创建。
CDM集群作为网络代理,必须和DWS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和DWS集群处于相同的区域、可用区、VPC和子网,安全组规则需允许两者网络互通。

DLI数据连接详见下表

参数 是否必选 说明
数据连接名称 数据连接的名称,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符。
标签 标识数据连接的属性。设置标签后,便于统一管理。
说明
标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头。且长度不能超过100个字符。

Oracle数据连接详见下表

参数 是否必选 说明
数据连接名称 数据连接的名称,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符。
标签 标识数据连接的属性。设置标签后,便于统一管理。
说明
标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头。且长度不能超过100个字符。
IP 待连接的数据库IP地址,公网IP和内网IP地址均支持。
端口 待连接的数据库端口。
用户名 待连接数据库的用户。该数据库用户需要有数据表的读写权限,以及对元数据的读取权限。
说明
CONNECT权限的用户(只读用户)创建连接时会出现“表或视图不存在”的提示,需要执行如下操作进行授权:
1. 以root用户登录oracle节点。
2. 执行如下命令,切换到oracle用户。
su oracle
3. 执行如下命令,登录数据库。
sqlplus /nolog
4. 执行如下命令,登录sys用户connect sys as sysdba;输入sys用户的密码。
5. 执行如下SQL语句,进行授权。GRANT SELECT ON GV_$INSTANCE toxxx;其中,xxx为需要授权的用户名。
密码 用户密码。
sid Oracle数据库的唯一标识符。
KMS密钥 KMS密钥名称。 通过KMS管理控制台获取密钥名称:
1. 根据创建的帐号登录管理控制台。
2. 单击“密钥管理服务”,左侧列表选择密钥管理。 在密钥列表可以获取到密钥名称。
绑定Agent Oracle为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建Oracle的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先通过数据集成增量包进行创建。
CDM集群作为网络代理,必须和Oracle网络互通才可以成功创建MRS连接。

MRS Ranger数据连接详见下表

参数 是否必选 说明
数据连接名称 数据连接的名称,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符。
标签 标识数据连接的属性。设置标签后,便于统一管理。
说明
标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头。且长度不能超过100个字符。
集群名 选择Ranger所属的MRS安全集群。如果在下拉列表中无法显示MRS集群,请检查MRS集群与DataArts Studio实例是否网络互通。
需确保MRS集群和DataArts Studio实例之间网络互通,网络互通需满足如下条件:
DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。
DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见《虚拟私有云》帮助文档中的“自定义路由(Region TypeⅠ)>添加路由信息”章节,配置安全组规则请参见《虚拟私有云》帮助文档中的“安全组>添加安全组规则”章节。
此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
说明
DataArts Studio目前仅支持与安全模式集群的MRS Ranger创建连接。
用户名 MRS集群的用户名,通过代理连接的时候,是必选项。如果使用新建的MRS用户进行连接,您需要先登录Manager页面,并更新初始密码。
如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以参考下方“创建MRS安全集群的kerberos认证用户”创建一个新的MRS用户,然后在创建MRS数据连接时,“用户名”和“密码”填写为新建的MRS用户及其密码。
说明
MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。
MRS 3.1.0版本之前的集群,所创建的用户需要具备Manager_administrator或System_administrator权限,才能在管理中心创建连接。
仅具备Manager_tenant或Manager_auditor权限,无法创建连接。
密码 MRS集群的访问密码。
KMS密钥 KMS密钥名称。
绑定Agent MRS为非全托管服务,DataArts Studio无法直接与非全托管服务进行连接。CDM集群提供了DataArts Studio与非全托管服务通信的代理,所以创建MRS的数据连接时,请选择一个CDM集群。如果没有可用的CDM集群,请先通过数据集成增量包进行创建。
CDM集群作为网络代理,必须和MRS集群网络互通才可以成功创建MRS连接,为确保两者网络互通,CDM集群必须和MRS集群处于相同的区域、可用区、VPC和子网,安全组规则需允许两者网络互通。

MRS Presto数据连接详见下表

参数 是否必选 说明
数据连接名称 数据连接的名称,只能包含英文字母、数字、下划线和中划线,且长度为1~50个字符。
标签 标识数据连接的属性。设置标签后,便于统一管理。
说明
标签的名称,只能包含中文、英文字母、数字和下划线,不能以下划线开头。且长度不能超过100个字符。
集群名 选择Presto所属的MRS集群。 如果在下拉列表中无法显示MRS集群,请检查MRS集群与DataArts Studio实例是否网络互通。
需确保MRS集群和DataArts Studio实例之间网络互通,网络互通需满足如下条件:
DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群处于不同区域的情况下,需要通过公网或者专线打通网络。通过公网互通时,需确保CDM集群已绑定EIP,MRS集群可以访问公网且防火墙规则已开放连接端口。
DataArts Studio实例(指DataArts Studio实例中的CDM集群)与MRS集群同区域情况下,同虚拟私有云、同子网、同安全组的不同实例默认网络互通;如果同虚拟私有云但子网或安全组不同,还需配置路由规则及安全组规则,配置路由规则请参见《虚拟私有云》帮助文档中的“自定义路由(Region TypeⅠ)>添加路由信息”章节,配置安全组规则请参见《虚拟私有云》帮助文档中的“安全组>添加安全组规则”章节。
此外,还需确保该MRS集群与DataArts Studio工作空间所属的企业项目相同,如果不同,您需要修改工作空间的企业项目。
描述 可自定义填写相关连接的描述。

主机连接详见下表

参数 是否必选 说明
数据连接名称 主机连接的名称,只能包含字母,数字,中划线或者下划线。
主机地址 主机的地址。
请参见《弹性云主机用户指南》的查看云主机详细信息页获取。
绑定Agent 需要选择CDM集群,CDM集群提供Agent。
端口 主机的SSH端口号。
用户名 主机的登陆用户名。
登录方式 选择主机的登录方式:
密钥对
密码
密钥对 主机的登录方式为密钥对时,用户获取并上传其私钥文件至OBS,在此处选择对应的OBS路径。“登录方式”为“密钥对”时,显示该配置项。
说明
此处上传的私钥文件需为PEM格式,并且上传的私钥文件和主机上配置的公钥是一个密钥对。
密钥对密码 如果密钥对未设置密码,则不需要填写该配置项。
密码 主机的登录方式为密码时,填写主机的登录密码。
主机连接描述 主机连接的描述信息。

创建MRS安全集群的kerberos认证用户

如果要创建MRS安全集群的数据连接,不能使用admin用户。因为admin用户是默认的管理页面用户,这个用户无法作为安全集群的认证用户来使用。您可以参考以下步骤创建一个新的MRS用户:

针对MRS 3.x版本集群:

  1. 使用admin登录MRS服务的Manager页面。
  2. 在Manager页面选择“系统 > 权限 > 用户”,单击“添加用户”,添加一个专有用户作为kerberos认证用户,并且为这个用户添加用户组和分配角色权限,用户组选择superGroup,角色建议全选,然后根据页面提示完成用户的创建。
说明
  • MRS 3.1.0及之后版本集群,所创建的用户至少需具备Manager_viewer的角色权限才能在管理中心创建连接;如果需要对应组件的进行库、表、数据的操作,还需要添加对应组件的用户组权限。

  • MRS 3.1.0版本之前的集群,所创建的用户需要具备Manager_administrator或System_administrator权限,才能在管理中心创建连接。

  • 仅具备Manager_tenant或Manager_auditor权限,无法创建连接。

  1. 使用新建的用户登录Manager页面,并更新初始密码,否则会导致创建连接失败。
  2. 同步IAM用户。

a.登录MRS管理控制台。

b.选择“集群列表 > 现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。

c.在“概览”页签的基本信息区域,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。

说明
  • 当IAM用户的用户组的所属策略从MRS ReadOnlyAccess向MRS CommonOperations、MRS FullAccess、MRS Administrator变化时,由于集群节点的SSSD(System Security Services Daemon)缓存刷新需要时间,因此同步完成后,请等待5分钟,等待新修改策略生效之后,再进行提交作业。否则,会出现提交作业失败的情况。

  • 当IAM用户的用户组的所属策略从MRS CommonOperations、MRS FullAccess、MRS Administrator向MRS ReadOnlyAccess变化时,由于集群节点的SSSD缓存刷新需要时间,因此同步完成后,请等待5分钟,新修改策略才能生效。

针对MRS 2.x及之前版本集群 :

  1. 使用admin登录MRS Manager页面。
  2. 在MRS Manager页面的“系统设置”中,单击“用户管理”,在用户管理页面,添加用户,添加一个专有用户作为kerberos认证用户,并且为这个用户添加用户组和分配角色权限,用户组选择superGroup,角色建议全选,然后根据页面提示完成用户的创建。
说明
  • MRS 2.x及之前版本集群,所创建的用户需要具备Manager_administrator或System_administrator权限,才能在管理中心创建连接。

  • 仅具备Manager_tenant或Manager_auditor权限,无法创建连接。

  1. 使用新建的用户登录MRS Manager页面,并更新初始密码,否则会导致创建连接失败。
  2. 同步IAM用户。

a.登录MRS管理控制台。

b.选择“集群列表 > 现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。

c.在“概览”页签的基本信息区域,单击“IAM用户同步”右侧的“同步”进行IAM用户同步。

说明
  • 当IAM用户的用户组的所属策略从MRS ReadOnlyAccess向MRS CommonOperations、MRS FullAccess、MRS Administrator变化时,由于集群节点的SSSD(System Security Services Daemon)缓存刷新需要时间,因此同步完成后,请等待5分钟,等待新修改策略生效之后,再进行提交作业。否则,会出现提交作业失败的情况

  • 当IAM用户的用户组的所属策略从MRS CommonOperations、MRS FullAccess、MRS Administrator向MRS ReadOnlyAccess变化时,由于集群节点的SSSD缓存刷新需要时间,因此同步完成后,请等待5分钟,新修改策略才能生效。

编辑数据连接

  1. 登录DataArts Studio管理中心控制台,单击“数据连接”,进入数据连接页面。
  2. 在数据连接列表中,找到所需编辑的连接,然后单击“编辑”。
  3. 在“编辑数据连接”对话框中,根据需要修改连接参数,参数描述可参考上方“数据连接参数说明”。
  4. 完成修改后,单击“测试”测试数据连接的是否可以正常连接,如果可以正常连接,单击“确定”。

如果测试连接无法连通,数据连接将无法创建,请根据错误提示重新修改连接参数后再进行重试。

删除数据连接

若删除数据连接,此数据连接下的数据表信息也会被删除,请谨慎操作。删除数据连接时,若待删除的连接已被引用,则不可删除,反之,可删除。

  1. 登录DataArts Studio管理中心控制台,单击“数据连接”,进入数据连接页面。
  2. 在数据连接列表中,找到所需删除的连接,然后单击“删除”。
  3. 在删除确认对话框中,了解删除连接的影响后,若要删除,单击“确定”。
相似文档
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部