上云无忧 > 文档中心 > 天翼云对象存储(OOS经典版)I型数据迁移步骤3 修改配置文件
对象存储
天翼云对象存储(OOS经典版)I型数据迁移步骤3 修改配置文件

文档简介:
更新迁移任务配置文件migrate.conf,配置源和目的资源池信息、迁移配置项。 说明: 迁移过程中,如果想停止正在迁移的任务,可以修改系统配置system.conf中的stopScan为true停止本次迁移,重启时需要将系统配置system.conf中的stopScan修改为false。
*产品来源:中国电信天翼云。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

修改配置文件


  • 更新迁移任务配置文件migrate.conf,配置源和目的资源池信息、迁移配置项。

说明:

  • 迁移过程中,如果想停止正在迁移的任务,可以修改系统配置system.conf中的stopScan为true停止本次迁移,重启时需要将系统配置system.conf中的stopScan修改为false。
  • 如果迁移过程中想修改迁移任务,需停止本次迁移,然后修改migrate.conf,并重启。如果迁移过程中未停止本次迁移任务,进行修改迁移任务配置文件migrate.conf,修改后的迁移任务配置文件不生效。
  • (可选)根据需要更新系统配置文件system.conf,在迁移过程中可以修改此配置文件中的配置项。仅影响修改后加入迁移任务的迁移对象,修改前已加入迁移任务的迁移对象,不受本次修改影响。

migrate.conf

表1  迁移任务配置文件(migrate.conf)参数

参数

说明

是否必填

srcType

迁移源类型:

l OOS:天翼云对象存储;

l OSS:阿里云;

l COS:腾讯云;

l OBS:华为云;

l S3:AmazonS3;

l LOCAL:本地。

默认是OSS。

srcEndpoint

源资源池Endpoint。

l 迁移源类型为COS、LOCAL,不填;

l 迁移源类型为:OOS、OSS、OBS、S3,此项必须填。

条件

srcAccessKey

源资源池账户AccessKey。

l 迁移源类型为LOCAL,此项不填;

l 迁移源类型为:OOS、OSS、COS、OBS、S3,此项必须填。

条件

srcSecretKey

源资源池账户SecretKey。

l 迁移源类型为LOCAL,此项不填;

l 迁移源类型为:OOS、OSS、COS、OBS、S3,此项必须填。

条件

srcBucket

源资源池Bucket。

l 迁移源类型为LOCAL,此项不填;

l 迁移源类型为:OOS、OSS、COS、OBS、S3,此项必须填。

条件

srcRegionName

源资源池RegionName

l 迁移源类型为COS、S3时,必须填;

l 迁移源类型为OOS、OSS、OBS、LOCAL,不填。

条件

localFolderPath

本地文件夹路径。

需要完整路径,以单个正斜线(/)进行分割并且以单个正斜线(/)结尾,仅支持如c:/example/ 或者/data/example/ 的格式。

l 迁移源类型为LOCAL,必须填;

l 迁移类型为OOS、OSS、COS、OBS、S3:不填。

条件

destEndpoint

目标资源池Endpoint,即要迁移到的OOS资源池Endpoint,参见域名(Endpoint)列表

destAccessKey

目标资源池AccessKey,可以从OOS控制台中获取,参见安全凭证

destSecretKey

目标资源池SecretKey。

destBucket

目标资源池Bucket。

srcPrefix

源对象名前缀,默认为空。该前缀不包括Bucket名称,仅为对象名前缀。

说明:为空表示迁移所有的对象。

srcMarker

l 迁移源类型为OOS表示按字典序,从srcMarker对象开始迁移。默认为空,表示从第一个对象开始迁移;

l 迁移源类型为OSS、OBS、COS、S3表示按字典序,从srcMarker对象后的下一个对象开始迁移。默认为空,表示从第一个对象开始迁移。

l 迁移源类型为LOCAL,此项不起作用。

srcStopObject

迁移的截止对象名,默认为空。

l 如果配置了srcStopObject,则迁移到配置的对象后停止迁移,即迁移到该对象的前一个对象,此对象及后续对象都不迁移;

l 如果指定的srcStopObject不存在,则迁移满足迁移条件的所有对象。

注意:迁移源类型为LOCAL,此项不起作用。

isSkipExistFile

是否跳过目标资源池中已有的对象。

l true:跳过已有对象,根据Etag和size进行判断数据是否为已有对象。

l false:覆盖已有对象(默认)。

migrateLogFile

表示是否根据日志文件加载迁移对象。

日志文件仅支持通过本迁移工具生成的四种类型的日志文件:successObjectLog_time.txt、errorObjectLog_time.txt、skipObjectLog_time.txt、

otherObjectLog_time.txt。

l true:仅处理日志文件中的项,不扫描源资源池或者local文件夹、不加载备份文件。

l false:扫描资源池或local文件夹,加载备份文件。

默认值为false。

logFile

表示日志文件路径。

migrateLogFile为true时,此项必须填。

条件

importSince

表示迁移大于此时间的数据,Unix时间戳。即迁移修改时间点后的所有对象。

取值:大于等于0的整数,单位是秒。默认值为0,表示迁移所有的数据。

objectSize

表示迁移对象的大小范围。格式是N-M,表示迁移N至M大小的对象。

取值:N和M是大于等于0的整数,且N≤M,单位是字节。默认不配置此项,表示迁移所有大小的对象。

system.conf

表2系统配置文件(system.conf)参数

参数

说明

是否必填

threadNum

并发数。

取值范围:1~3000的整数,默认值为1。

maxSimpleObjectSizeM

对象大小限制,单位是MiB。

取值范围:大于等于5的整数,默认值为10。

超过对象大小限制,源对象将被拆分成分段对象进行迁移。

partSizeM

拆分为分段对象时的分片大小,单位MiB。

取值范围:大于等于5的整数,默认值为5。

否,

stopScan

是否终止遍历源对象。

l true:终止;

l false:不终止

默认false。

maxThroughput

对源端流量进行限制,单位是KiB/s。

取值范围:100~102400的整数。默认不限速。

说明

l 如果填写负数,则表示不进行限速;

l 如果0≤maxThroughput<100,则按100KiB/s限速;

l 如果maxThroughput>102400,则按102400KiB/s限速。

log4j2.xml

迁移工具的日志配置文件log4j2.xml,可以配置日志输出级别等属性。

默认只输出基本日志信息,配置参数:

如果用户希望打印更详细的迁移信息,可以开启debug日志,配置参数:

相似文档
  • 对于Windows客户端,执行import.bat启动迁移。 打开开始菜单,搜索cmd,打开命令提示符窗口。 cd到压缩工具所在的目录下,例如 cd c:\CTYUN_OOS_Import_1.2.0。 执行import.bat。 对于Linux客户端,执行import.sh启动迁移。 为import.sh增加执行权限,执行命令:chmod +x import.sh。 运行import.sh,执行命令:./import.sh。
  • 数据迁移工具支持断点续传,如果迁移过程中程序被终止了,可以重新启动迁移任务,从之前中断的位置继续开始迁移。继续迁移的步骤如下: 1. 保留上次迁移执行过程中产生的backup文件。如果是在另外一台服务器上重新开始迁移任务,需要将backup文件拷贝到新服务器的迁移工具所在目录下。 2. (可选)查看nextMarker.txt文件中记录的上次数据迁移位置。修改migrate.conf,设置srcMarker为上次迁移位置。
  • 数据迁移工具支持断点续传,如果迁移过程中程序被终止了,可以重新启动迁移任务,从之前中断的位置继续开始迁移。继续迁移的步骤如下: 1. 保留上次迁移执行过程中产生的backup文件。如果是在另外一台服务器上重新开始迁移任务,需要将backup文件拷贝到新服务器的迁移工具所在目录下。 2. (可选)查看nextMarker.txt文件中记录的上次数据迁移位置。修改migrate.conf,设置srcMarker为上次迁移位置。
  • 迁移任务配置文件(migrate.conf)示例。 数据从OSS迁移至OOS示例 { "srcType":"OSS", #从阿里云迁移对象 "srcEndpoint":"oss-cn-hangzhou.aliyuncs.com", #阿里云的Endpoint "srcAccessKey":"your oss accessKey",#阿里云的AccessKey "srcSecretKey":"your oss secretKey", #阿里云的SecretKey
  • Q:怎么查看迁移进度? A:可以在日志的server.log中的相关字段查看迁移进度。 Q:此工具支持OOS同一个Bucket内对象的迁移吗? A:使用此迁移工具不能实现OOS同一个Bucket内对象的迁移,但可以通过OOS控制台或者API(PUT Object -Copy)进行同一Bucket内对象迁移。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部