上云无忧 > 文档中心 > 百度智能云对象存储BOS工具 - BosImport任务进度恢复
对象存储BOS
百度智能云对象存储BOS工具 - BosImport任务进度恢复

文档简介:
从 status.log 里可以看到相应的文件列表具体的迁移进度,如果client崩溃了可以从日志中找到相应的断点恢复迁移,进度恢复是根据任务列表(list)的粒度来进行的。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠


从 status.log 里可以看到相应的文件列表具体的迁移进度,如果client崩溃了可以从日志中找到相应的断点恢复迁移,进度恢复是根据任务列表(list)的粒度来进行的。

示例:

client.properties文件配置:

taskList=/home/work/list/task_list

task_list文件内容:

/home/work/list/object_list1 /home/work/list/object_list2
# /home/work/list/object_list3

object_list1文件内容:

bucket1 obj1
bucket1 obj2
bucket1 obj3
#bucket1 obj4
bucket1 obj5

object_list2文件内容:

bucket1 obj21
#bucket1 obj22
bucket1 obj23
bucket1 obj24
bucket1 obj25
bucket1 obj26

status.log文件内容:


2015-12-31 17:13:42.013 /home/work/list/object_list1 2/-1 2015-12-31 17:13:45.014 
/home/work/list/object_list2 3/-1 2015-12-31 17:13:48.014 /home/work/list/object_list2 
4/6 2015-12-31 17:13:51.014 /home/work/list/object_list1 5/5 finished 2015-12-31 17:13:53.014 /home/work/list/object_list2 4/6


  1. object_list1 2/-1 表示已经处理完了 object_list1 这个列表的第2行,-1 表示这个文件还没有读完不知道有多少行,如果这个时候崩溃了,由于采用了并发,所以并不知道具体是完成了列表中的哪几个文件的迁移。
  2. 如果需要从某个进度位置重新开始任务,需要建立新的list文件,使用新的配置重新启动client。首先要根据status.log文件内容找出还有哪些object_list文件的数据没有迁移完,例如object_list2还没有迁移完,就将其放到新的task_list_continue文件里,并修改配置文件,示例如下:

修改client.properties文件:

taskList=/home/work/list/task_list_continue

修改task_list_continue 文件:

/home/work/list/object_list2

redo重传

当所有需要迁移的列表处理完之后,需要对迁移失败或者迁移过程当中出现问题的文件进行重传。 从迁移日志中整理出重传的列表:redo和unsent日志文件中的文件可以使用KEEP_DESTITNATION的迁移策略,但是对于failed的文件列表,需要考虑使用FORCE_OVERWRITE策略进行迁移,因为可能是因为迁移出现了数据错误。

相似文档
  • 多步上传到BOS异常: 上传到BOS的multiupload在完成最后一个part的时候会调用 finishUpload,由于是多线程, 同个文件的多个part可能在最后一part完成之前未完成, 在调用finishUpload 的时候可能会失败, 处理这个问题的策略是:重试5次, 每次间隔20秒,重试5次失败后abort掉之前已经完成的part。
  • BosImport工具包 [2020-10-22] 版本号1.0.2 修复Bug。 BosImport工具包 [2020-08-17] 版本号1.0.1 新增支持金山云KS3数据迁移到BOS; BosImport工具包 [2018-12-05] 版本号1.0.0
  • 月光宝盒是 BOS 推出的一种通过物理寄送上云方式,能够实现本地 IDC 数据的迁移上云。 月光宝盒适用于百 TB 级数据的传输和迁移上云,它使用特定存储设备在百度智能云和客户之间传输大量数据。它解决了大规模数据传输中出现的高昂网络成本、较长传输时间和安全等问题,且具有简单、快速、安全、成本低的优点。
  • 目前月光宝盒处于公测阶段,请点击“免费试用”注册并接受邀请成为百度智能云官方用户。 我们会通过邮件或电话方式与您进行联系,获取您的 IDC 机房地址,用于将月光宝盒设备寄送到您机房; 设备寄送费用需要由您承担。
  • BOS 桌面是由 BOS 官方发布的图形化桌面客户端,支持 Windows 和 Mac 操作系统。您可以通过BOS 桌面进行资源管理的各项操作,例如文件或文件夹的上传、下载、删除和重命名等操作。您在 BOS 桌面对任何资源做的修改,都将同步到控制台,包括上传新文件、重命名文件、删除文件和新建文件夹等。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部