上云无忧 > 文档中心 > 百度智能云对象存储BOS本地数据迁移到BOS
对象存储BOS
百度智能云对象存储BOS本地数据迁移到BOS

文档简介:
存量数据的特点是数据量一般比较大,迁移需要较长的时间,但数据基本固定,很少再进行修改。本地数据上云时,您可以根据自身网络条件选择在线方式或离线方式进行迁移。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

存量数据

存量数据的特点是数据量一般比较大,迁移需要较长的时间,但数据基本固定,很少再进行修改。本地数据上云时,您可以根据自身网络条件选择在线方式或离线方式进行迁移。

在线方式:BOS CMD 工具

本地数据上云的在线方式适用于客户本地网络条件较好(带宽充裕)的情况。在这种情况下,我们推荐通过 BOS CMD 工具的 Object 上传功能实现数据上云。

BOS CMD 是 BOS 提供的命令行工具,它提供了丰富的功能,方便用户对 BOS 资源进行各种操作和管理。 BOS CMD 支持批量上传、同步上传(sync)、单文件上传三种 Object 上传方式,使用批量上传和同步上传(sync)可以高效的解决本地存量数据在线上云的问题。在这里先介绍批量上传方式:

您可以在已安装了 BOS CMD 的机器上执行以下命令来使用批量上传:

$ bcecmd bos cp <local-path> <bos-path> --recursive [--storage-class [STORAGE_CLASS]] [--restart] [--quiet] [--yes] [--disable-bar]

其中 local-path 为本地上传文件的目录。具体操作及注意事项请参见:BOS CMD Object 上传功能

离线方式 1:月光宝盒

如果客户侧的网络环境不好(带宽小、网络不稳定),且带宽成本非常昂贵时,在有限的带宽下进行传输,速度也不是特别理想,则推荐使用月光宝盒进行离线传输。

月光宝盒是百度智能云 BOS 提供的一种 TB 级数据传输解决方案,它使用存储设备在百度智能云和客户之间传输大量数据。它解决了大规模数据传输中出现的高昂网络成本、较长传输时间和安全等问题,且具有简单、快速、安全、成本低的优点。

和BOS提供的另一种离线方式“本地数据离线传输”相比,月光宝盒由BOS为您提供硬盘,因此,月光宝盒适用于迁移量大于等于 20TB 的情况。

月光宝盒正处于公测期间,使用前需要填写公测申请:月光宝盒公测申请

具体操作流程及注意事项请参见:月光宝盒操作流程

离线方式 2:本地数据离线传输

BOS还提供了一种离线方式“本地数据离线传输”。它和“月光宝盒”的不同之处在于,离线传输仅支持客户自己提供硬盘。因此,离线传输适用于迁移量小于 20TB 的情况。

使用离线传输前,请先通过工单或者客户经理联系我们。您把数据拷贝到硬盘上后,请把硬盘寄送到下面地址:

地址 北京市房山区窦店镇广茂路37号 光环新网数据中心
电话 17800824602
联系人 BJDD 机房

硬盘寄回的地址,可以联系客户经理告知我们的接口人。硬盘寄送请选择保价,邮费请自负,寄回去时也会选择到付。北京同城1天,异地一般2天内可达。硬盘寄回之前,按照百度安全要求会统一清空硬盘,请关注。

增量数据

BOS CMD sync 功能

BOS CMD 的同步上传(sync)功能可以方便快捷的解决本地数据上云过程中,增量数据的问题。同步上传默认支持批量操作,可以将本地目录同步到BOS。如果 BOS 端已经有名称相同且修改时间比本地文件新,同步上传会忽略此文件,只同步新文件或有改动的文件。 sync命令会同时列举本地和 BOS 侧文件, 对于不同情况分别执行不同的动作,以保证增量数据的准确安全上传。

您可以在已安装了 BOS CMD 的机器上执行以下命令来使用同步上传(sync):

$ bcecmd bos sync <local_dir> bos:/<bucket_name>/[prefix] [--exclude EXCLUDE] [--include INCLUDE] 
[--delete] [--exclude-delete EXCLUDE-DELETE] [--dryrun] [--yes] [--quiet] [--storage-class STORAGE-CLASS]
 [--sync-type SYNC-TYPE] [--concurrency CONCURRENCY] [--restart]

其中 local_DIR 为本地同步目录。具体操作及注意事项请参见:BOS CMD 同步上传(sync)功能

相似文档
  • 针对客户从其他云迁移到 BOS 的场景,百度智能云对象存储BOS提供了两种迁移方式,分别是 BOS Import 工具和控制台在线数据导入功能。BOS Import 工具的特点是可靠、安全、稳定,适用于 1TB 以上的数据迁移;控制台在线数据导入功能的特点是在迁移量不大的情况下,操作方便、快捷,适用于 1TB 以下的数据迁移。
  • AWS Lambda是一项计算服务,无需预配置或管理服务器即可运行代码,你可以通过配置AWS Lambda的触发器来执行你上传的函数代码。因此,我们可以利用AWS Lambda来实时同步用户上传到S3 Bucket的Object到BOS Bucket。
  • 使用流程: 使用 bce-bos-uploader,可以参考下面的内容完成如何在浏览器中直接上传文件到 BOS 。使用流程: 开启 Bucket 的跨域访问设置; 查询 ak/sk; 初始化 bce-bos-uploader 参数。
  • Bce-bos-uploader 支持 STS(Security Token Service)临时授权的方式。服务端生成一组具体特定操作权限、具有一定时效性的临时AK/SK,这组临时的 AK/SK 可以暴露给浏览器端直接使用。用户只需要将服务端返回的 AK/SK 及 SessionToken 设置为 bce-bos-uploader 对应的 bos-ak、bos-sk 和 uptoken 参数。 下图简单介绍了整个业务交互过程,关于 STS 方面的介绍请参考临时授权访问。
  • 因为 IE 低版本(IE8,IE9)对 html5 支持的不完善,为了在这些浏览器里面实现文件直传的功能, BOS 开发了 PostObject 接口,通过一个 multipart/form-data 的格式,就可以把文件上传到 BOS 服务器。Postobject 接口的签名模式下应用服务器端对 policy 生成签名,再返回给客户端。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部