文档简介:
修改配置文件
-
更新迁移任务配置文件migrate.conf,配置源和目的资源池信息、迁移配置项。
说明:
-
迁移过程中,如果想停止正在迁移的任务,可以修改系统配置system.conf中的stopScan为true停止本次迁移,重启时需要将系统配置system.conf中的stopScan修改为false。
-
如果迁移过程中想修改迁移任务,需停止本次迁移,然后修改migrate.conf,并重启。如果迁移过程中未停止本次迁移任务,进行修改迁移任务配置文件migrate.conf,修改后的迁移任务配置文件不生效。
-
(可选)根据需要更新系统配置文件system.conf,在迁移过程中可以修改此配置文件中的配置项。仅影响修改后加入迁移任务的迁移对象,修改前已加入迁移任务的迁移对象,不受本次修改影响。
migrate.conf
表1 迁移任务配置文件(migrate.conf)参数
参数 |
说明 |
是否必填 |
srcType |
迁移源类型: l OOS:天翼云对象存储; l OSS:阿里云; l COS:腾讯云; l OBS:华为云; l S3:AmazonS3; l LOCAL:本地。 默认是OSS。 |
是 |
srcEndpoint |
源资源池Endpoint。 l 迁移源类型为COS、LOCAL,不填; l 迁移源类型为:OOS、OSS、OBS、S3,此项必须填。 |
条件 |
srcAccessKey |
源资源池账户AccessKey。 l 迁移源类型为LOCAL,此项不填; l 迁移源类型为:OOS、OSS、COS、OBS、S3,此项必须填。 |
条件 |
srcSecretKey |
源资源池账户SecretKey。 l 迁移源类型为LOCAL,此项不填; l 迁移源类型为:OOS、OSS、COS、OBS、S3,此项必须填。 |
条件 |
srcBucket |
源资源池Bucket。 l 迁移源类型为LOCAL,此项不填; l 迁移源类型为:OOS、OSS、COS、OBS、S3,此项必须填。 |
条件 |
srcRegionName |
源资源池RegionName l 迁移源类型为COS、S3时,必须填; l 迁移源类型为OOS、OSS、OBS、LOCAL,不填。 |
条件
|
localFolderPath |
本地文件夹路径。 需要完整路径,以单个正斜线(/)进行分割并且以单个正斜线(/)结尾,仅支持如c:/example/ 或者/data/example/ 的格式。 l 迁移源类型为LOCAL,必须填; l 迁移类型为OOS、OSS、COS、OBS、S3:不填。 |
条件 |
destEndpoint |
目标资源池Endpoint,即要迁移到的OOS资源池Endpoint,参见域名(Endpoint)列表。 |
是 |
destAccessKey |
目标资源池AccessKey,可以从OOS控制台中获取,参见安全凭证 。 |
是 |
destSecretKey |
目标资源池SecretKey。 |
是 |
destBucket |
目标资源池Bucket。 |
是 |
srcPrefix |
源对象名前缀,默认为空。该前缀不包括Bucket名称,仅为对象名前缀。 说明:为空表示迁移所有的对象。 |
否 |
srcMarker |
l 迁移源类型为OOS表示按字典序,从srcMarker对象开始迁移。默认为空,表示从第一个对象开始迁移; l 迁移源类型为OSS、OBS、COS、S3表示按字典序,从srcMarker对象后的下一个对象开始迁移。默认为空,表示从第一个对象开始迁移。 l 迁移源类型为LOCAL,此项不起作用。 |
否 |
srcStopObject |
迁移的截止对象名,默认为空。 l 如果配置了srcStopObject,则迁移到配置的对象后停止迁移,即迁移到该对象的前一个对象,此对象及后续对象都不迁移; l 如果指定的srcStopObject不存在,则迁移满足迁移条件的所有对象。 注意:迁移源类型为LOCAL,此项不起作用。 |
否 |
isSkipExistFile |
是否跳过目标资源池中已有的对象。 l true:跳过已有对象,根据Etag和size进行判断数据是否为已有对象。 l false:覆盖已有对象(默认)。 |
否 |
migrateLogFile |
表示是否根据日志文件加载迁移对象。 日志文件仅支持通过本迁移工具生成的四种类型的日志文件:successObjectLog_time.txt、errorObjectLog_time.txt、skipObjectLog_time.txt、 otherObjectLog_time.txt。 l true:仅处理日志文件中的项,不扫描源资源池或者local文件夹、不加载备份文件。 l false:扫描资源池或local文件夹,加载备份文件。 默认值为false。 |
否 |
logFile |
表示日志文件路径。 migrateLogFile为true时,此项必须填。 |
条件 |
importSince |
表示迁移大于此时间的数据,Unix时间戳。即迁移修改时间点后的所有对象。 取值:大于等于0的整数,单位是秒。默认值为0,表示迁移所有的数据。 |
否 |
objectSize |
表示迁移对象的大小范围。格式是N-M,表示迁移N至M大小的对象。 取值:N和M是大于等于0的整数,且N≤M,单位是字节。默认不配置此项,表示迁移所有大小的对象。 |
否 |
system.conf
表2系统配置文件(system.conf)参数
参数 |
说明 |
是否必填 |
threadNum |
并发数。 取值范围:1~3000的整数,默认值为1。 |
否 |
maxSimpleObjectSizeM |
对象大小限制,单位是MiB。 取值范围:大于等于5的整数,默认值为10。 超过对象大小限制,源对象将被拆分成分段对象进行迁移。 |
否 |
partSizeM |
拆分为分段对象时的分片大小,单位MiB。 取值范围:大于等于5的整数,默认值为5。 |
否, |
stopScan |
是否终止遍历源对象。 l true:终止; l false:不终止 默认false。 |
否 |
maxThroughput |
对源端流量进行限制,单位是KiB/s。 取值范围:100~102400的整数。默认不限速。 说明: l 如果填写负数,则表示不进行限速; l 如果0≤maxThroughput<100,则按100KiB/s限速; l 如果maxThroughput>102400,则按102400KiB/s限速。 |
否 |
log4j2.xml
迁移工具的日志配置文件log4j2.xml,可以配置日志输出级别等属性。
默认只输出基本日志信息,配置参数:
|
如果用户希望打印更详细的迁移信息,可以开启debug日志,配置参数:
|