上云无忧 > 文档中心 > 天翼云数据治理中心 DataArts Studio 使用教程 - 管理Agent
数据治理中心 DataArts Studio
天翼云数据治理中心 DataArts Studio 使用教程 - 管理Agent

文档简介:
本章节主要介绍数据治理中心的管理Agent功能。 对于HDFS和关系型数据库类型的数据源,不方便暴露节点的场景,可选择在源端网络中部署Agent。CDM通过Agent拉取客户内部数据源的数据,但不支持写入数据。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

对于HDFS和关系型数据库类型的数据源,不方便暴露节点的场景,可选择在源端网络中部署Agent。CDM通过Agent拉取客户内部数据源的数据,但不支持写入数据。Agent的使用流程详见下图

前提条件

已具备CDM集群。

新建Agent

1.进入CDM主界面,单击左侧导航上的“集群管理”,选择集群后的“作业管理 > Agent管理 > 新建Agent”,配置Agent相关信息。

详见下图:配置Agent

  • IP地址:配置为源端网络中部署Agent的IP地址。
  • 端口:Agent自定义的端口。建议范围:1024~65535。
  • 启用压缩:是否对数据使用gzip算法进行压缩传输。

−对于文本数据(基于字符编码的数据,例如MySQL的INT等数据类型,详见相关数据库的说明文档),建议开启此选项,gzip压缩可以达到较好的压缩效果。

−对于二进制数据(基于值编码的数据,例如MySQL的BINARY等数据类型,详见相关数据库的说明文档),由于其本身已经压缩过,不推荐再开启gzip压缩,压缩后可能会导致压缩效果较差,同时会增大客户端解压缩的压力,带来不必要的性能损耗。

  • 启用SSL:是否启用SSL双向认证,保证数据的安全性。如果对安全性要求较高,则可以开启SSL。
  • 限流:设置agent的最大下行速率,默认不限流。

2.单击“确定”,完成Agent的创建。在Agent管理页面可查看已成功创建的Agent。

安装并启动Agent

1.在Agent管理页面,找到已成功创建的Agent。如下图所示,下载Agent。

详见下图:下载Agent

2.准备部署Agent的主机。该主机对vCPUs、内存、磁盘等规格无特殊要求,但须满足以下条件:

  • 需要已安装64位版本java 8并配置java环境变量。
  • 授予Ruby用户(若无Ruby用户则需手动创建)在/tmp目录下的写权限。

3.将下载的Agent压缩包,上传至部署Agent的主机上。

4.解压安装包后执行如下命令安装Agent。

sh sbin/install.sh复制

5.如果需要通过Agent连接关系数据库,则需要将对应的驱动(参考 管理驱动)上传至Agent安装目录下的/server/jdbc,并修改同目录下properties文件里对应数据库驱动的版本号。

6.安装完成后,执行如下命令启动Agent。

su Ruby
sh sbin/start.sh复制

7.执行如下命令检查Agent进程是否启动。

ps -ef | grep agent复制

如果命令执行完成后返回了正在运行的Agent进程,说明Agent进程已启动。

连接Agent

1.在Agent管理页面,找到已成功创建的Agent。如下图所示,连接Agent。

2.Agent连接成功后,即可在创建连接中选择Agent。

相似文档
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部