操作场景

CDM可以实现在同构、异构数据源之间进行表或文件级别的数据迁移，支持表/文件迁移的数据源请参见支持的数据源中表/文件迁移支持的数据源类型。

约束限制

• 记录脏数据功能依赖于OBS服务。
• 作业导入时，JSON文件大小不超过1MB。

前提条件

• 已新建连接。
• CDM集群与待迁移数据源可以正常通信。

操作步骤

1.进入CDM主界面，单击左侧导航上的“集群管理”，选择集群后的“作业管理”。

2.选择“表/文件迁移 > 新建作业”，进入作业配置界面。

详见下图：新建表/文件迁移的作业

3.选择源连接、目的连接：

• 作业名称：用户自定义任务名称，名称由中文、数字、字母、中划线、下划线、点号，且首字符不能是中划线或点号组成，长度必须在1到240个字符之间，例如“oracle2obs_t”。
• 源连接名称：选择待迁移数据的数据源，作业运行时将从此端复制导出数据。
• 目的连接名称：选择将数据迁移到哪个数据源，作业运行时会将数据导入此端。

4.选择源连接后，配置作业参数。

每种数据源对应的作业参数不一样，其它类型数据源的作业参数请根据下表选择。

源端作业参数说明

5.配置目的端作业参数，根据目的端数据类型配置对应的参数，具体下表所示。

目的端作业参数说明

6.作业参数配置完成后，单击“下一步”进入字段映射的操作页面。

如果是文件类数据源（FTP/SFTP/HDFS/OBS）之间相互迁移数据，且源端“文件格式”配置为“二进制格式”（即不解析文件内容直接传输），则没有字段映射这一步骤。

其他场景下，CDM会自动匹配源端和目的端数据表字段，需用户检查字段映射关系和时间格式是否正确，例如：源字段类型是否可以转换为目的字段类型。

说明

• 如果字段映射关系不正确，用户可以通过拖拽字段来调整映射关系。
• 如果在字段映射界面，CDM通过获取样值的方式无法获得所有列（例如从HBase/CloudTable/MongoDB导出数据时，CDM有较大概率无法获得所有列），则可以单击后选择“添加新字段”来手动增加，确保导入到目的端的数据完整。
• 如果是导入到数据仓库服务（DWS），则还需在目的字段中选择分布列，建议按如下顺序选取分布列：
• 有主键可以使用主键作为分布列。

（1）多个数据段联合做主键的场景，建议设置所有主键作为分布列。

（2）在没有主键的场景下，如果没有选择分布列，DWS会默认第一列作为分布列，可能会有数据倾斜风险。

7.CDM支持字段内容转换，如果需要可单击操作列下，进入转换器列表界面，再单击“新建转换器”。

图 新建转换器

CDM支持以下转换器：

• 脱敏：隐藏字符串中的关键数据。

例如要将“12345678910”转换为“123****8910”，则参数配置如下：

−“起始保留长度”为“3”。

−“结尾保留长度”为“4”。

−“替换字符”为“*”。

• 去前后空格：自动删除字符串前后的空值。
• 字符串反转：自动反转字符串，例如将“ABC”转换为“CBA”。
• 字符串替换：将选定的字符串替换。
• 表达式转换：使用JSP表达式语言（Expression Language）对当前字段或整行数据进行转换。
• 去换行：将字段中的换行符（\n、\r、\r\n）删除。

8.单击“下一步”配置任务参数，单击“显示高级属性”展开可选参数。

详见下图：任务参数

各参数说明如下表所示。

任务配置参数

9.单击“保存”，或者“保存并运行”回到作业管理界面，可查看作业状态。

说明

作业状态有New，Pending，Booting，Running，Failed，Succeeded。

其中“Pending”表示正在等待系统调度该作业，“Booting”表示正在分析待迁移的数据。