上云无忧 > 文档中心 > 天翼云数据治理中心 DataArts Studio 管理作业 - 作业配置管理
数据治理中心 DataArts Studio
天翼云数据治理中心 DataArts Studio 管理作业 - 作业配置管理

文档简介:
本章节主要介绍作业配置管理。 CDM作业管理界面的“配置管理”页签,主要操作如下: CDM作业最大抽取并发数、 CDM作业定时备份/恢复、 CDM作业参数的环境变量。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

CDM作业管理界面的“配置管理”页签,主要操作如下:

  • CDM作业最大抽取并发数
  • CDM作业定时备份/恢复
  • CDM作业参数的环境变量

CDM作业最大抽取并发数

最大抽取并发数取值范围为1-300,用于限制作业运行的总抽取并发数。如果当前所有作业总并发数超过限制,超过部分将排队等待。请您参考各单作业抽取并发数估算最大总抽取并发数。

单作业的抽取并发量配置原则如下:

CDM迁移作业的抽取并发数,与集群规格和表大小有关。并发抽取数取值范围为1-300,若配置过大,则以队列的形式进行排队。

建议每1CUs(1CUs=1核4G)配置为4,如下表所示,您也可以根据实际情况进行调整。另外,每行数据大小为1MB以下的可以多并发抽取,超过1MB的建议单线程抽取数据。

说明
  • 迁移的目的端为文件时,CDM不支持多并发,此时应配置为单进程抽取数据。

  • 单作业的抽取并发数,受到作业“配置管理”中所配置的“最大抽取并发数”影响。“最大抽取并发数”配置的是抽取并发总数。

表 抽取并发数参考配置

CDM集群规格 vCPUs/内存 抽取并发数参考配置
cdm.large 8核16GB 16
cdm.xlarge 16核32GB 32
cdm.4xlarge 64核128GB 128

CDM作业定时备份/恢复

该功能依赖于OBS服务。

  • 前提条件

已创建配置OBS连接。

  • 定时备份

在CDM作业管理界面,单击“配置管理”页签,配置定时备份的参数。

表 定时备份参数

参数 说明 配置样例
定时备份 自动备份功能的开关,该功能只备份作业,不会备份连接。
备份策略 所有作业:不管作业处于什么状态,CDM会备份所有表/文件迁移作业、整库迁移的作业。不备份历史作业。
分组作业:选择备份某一个或多个分组下的作业。
所有作业
备份周期 选择备份周期:
日:每天零点执行一次。
周:每周一零点执行一次。
月:每月1号零点执行一次。
备份写入OBS连接 CDM通过该连接,将作业备份到OBS,需要用户提前在“连接管理”界面创建好OBS连接。 obslink
OBS桶 存储备份文件的OBS桶。 cdm
备份数据目录 存储备份文件的目录。 /cdm-bk/
  • 恢复作业

如果之前执行过自动备份,“配置管理”页签下会显示备份列表:显示备份文件所在的OBS桶、路径、备份时间。

您可以单击备份列表操作列的“恢复备份”来恢复CDM作业。

CDM作业参数的环境变量

CDM在创建迁移作业时,可以手动输入的参数(例如OBS桶名、文件路径等)、参数中的某个字段、或者字段中的某个字符,都支持配置为一个全局变量,方便您批量更改作业中的参数值,以及作业导出/导入后进行批量替换。

这里以批量替换作业中OBS桶名为例进行介绍。

1.在CDM作业管理界面,单击“配置管理”页签,配置环境变量。

bucket_1=A
bucket_2=B复制

这里以变量“bucket_1”表示桶A,变量“bucket_2”表示桶B。

2.在创建CDM迁移作业的界面,迁移桶A的数据到桶B。

源端桶名配置为 {bucket_1} ,目的端桶名配置为 {bucket_2} 。

图 桶名配置为环境变量

3.如果下次要迁移桶C数据到桶D,则无需更改作业参数,只需要在“配置管理”界面将环境变量改为如下即可:

bucket_1=C
bucket_2=D
相似文档
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部