上云无忧 > 文档中心 > 百度智能云对象存储BOS工具 - BosImport日志
对象存储BOS
百度智能云对象存储BOS工具 - BosImport日志

文档简介:
src_not_found.log 源端未找到,在尝试迁移所给的文件列表中的文件时,发现源文件找不到。 示例: 2015-12-31 17:13:48.014 bucket1 obj24
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

  1. src_not_found.log

    源端未找到,在尝试迁移所给的文件列表中的文件时,发现源文件找不到。

    示例:

    2015-12-31 17:13:48.014 bucket1 obj24 2015-12-31 17:13:48.015 bucket1 obj25 
  2. 2015-12-31 17:13:48.016 bucket1 obj26
  3. migrate_failed.log

    迁移过程发生异常(包括迁移过程中写目的端中途失败,迁移后校验时发现读目的端文件信息异常或者目的端和源端不一致等情况),发生概率低,需要以FORCE_OVERWRITE策略重做。

    示例:

    2015-12-31 17:13:48.014 bucket1 obj24 2015-12-31 17:13:48.015 bucket1 obj25 2015-12-31 17:13:48.016 bucket1 obj26
  4. redo_list.log

    迁移任务失败(包括迁移过程中读取源端文件数据或信息异常,迁移后校验时发现目的端文件不存在等情况),需要重做。

    示例:

    2015-12-31 17:13:48.014 bucket1 obj24 2015-12-31 17:13:48.015 bucket1 obj25 2015-12-31 17:13:48.016 bucket1 obj26
  5. dst_not_match.log

    只有check任务会生成,表示目的端和源端不一致,只用来迁移则无需理会。

    示例:

    2015-12-31 17:13:48.014 bucket1 obj24 2015-12-31 17:13:48.015 bucket1 obj25 2015-12-31 17:13:48.016 bucket1 obj26
  6. status.log

    当前进度,每3秒更新一次,x/y 表示处理进度,x为已经处理的数量,y表示总量;y为-1表示未读完该文件列表,完成迁移的列表后会标记一个finished。

    示例:

    2015-12-31 17:13:42.013 object_list1.txt 2/2 finished 2015-12-31 17:13:45.014 object_list2.txt 3/-1 
  7. 2015-12-31 17:13:48.014 object_list3.txt 4/6
  8. unsent.log

    由于网络或者server不可用等问题在发送迁移请求给server时报错,告知有哪些文件在尝试迁移的时候server拒绝了。

    示例:

    2015-12-31 17:13:48.014 bucket1 obj24 2015-12-31 17:13:48.015 bucket1 obj25 2015-12-31 17:13:48.016 bucket1 obj26
  9. client.log

    client端日志,记录着各个迁移任务分发的情况以及当前client的情况,可以从这个日志中分析出文件的平均大小,和单个文件迁移所用时间,从而调整迁移参数,实现高效迁移。

  10. server.log

    迁移server端日志,主要包含文件迁移的过程(head get put verify),根据request-id可以跟踪某个迁移任务的处理过程。

第1-6种log的格式除了每行开头加上了产生该行的时间之外,和所提供的文件列表格式一样。

相似文档
  • 从 status.log 里可以看到相应的文件列表具体的迁移进度,如果client崩溃了可以从日志中找到相应的断点恢复迁移,进度恢复是根据任务列表(list)的粒度来进行的。
  • 多步上传到BOS异常: 上传到BOS的multiupload在完成最后一个part的时候会调用 finishUpload,由于是多线程, 同个文件的多个part可能在最后一part完成之前未完成, 在调用finishUpload 的时候可能会失败, 处理这个问题的策略是:重试5次, 每次间隔20秒,重试5次失败后abort掉之前已经完成的part。
  • BosImport工具包 [2020-10-22] 版本号1.0.2 修复Bug。 BosImport工具包 [2020-08-17] 版本号1.0.1 新增支持金山云KS3数据迁移到BOS; BosImport工具包 [2018-12-05] 版本号1.0.0
  • 月光宝盒是 BOS 推出的一种通过物理寄送上云方式,能够实现本地 IDC 数据的迁移上云。 月光宝盒适用于百 TB 级数据的传输和迁移上云,它使用特定存储设备在百度智能云和客户之间传输大量数据。它解决了大规模数据传输中出现的高昂网络成本、较长传输时间和安全等问题,且具有简单、快速、安全、成本低的优点。
  • 目前月光宝盒处于公测阶段,请点击“免费试用”注册并接受邀请成为百度智能云官方用户。 我们会通过邮件或电话方式与您进行联系,获取您的 IDC 机房地址,用于将月光宝盒设备寄送到您机房; 设备寄送费用需要由您承担。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部