上云无忧 > 文档中心 > 百度智能云对象存储BOS本地数据上云
对象存储BOS
百度智能云对象存储BOS本地数据上云

文档简介:
存量数据是指您此时已经产生的数据。该数据的特点是数据量一般比较大,迁移需要较长的时间,但数据基本固定,很少再进行修改。本地数据上云时,您可以根据自身网络条件选择在线方式或离线方式进行迁移。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

存量数据迁移上云

存量数据是指您此时已经产生的数据。该数据的特点是数据量一般比较大,迁移需要较长的时间,但数据基本固定,很少再进行修改。本地数据上云时,您可以根据自身网络条件选择在线方式或离线方式进行迁移。

方式1:BOSCMD工具在线迁移

本地数据上云的在线方式适用于客户本地网络条件较好(带宽充裕)的情况。在这种情况下,我们推荐通过 BOS CMD 工具的Object上传功能实现数据上云。

BOS CMD 是BOS提供的命令行工具,它提供了丰富的功能,方便用户对BOS资源进行各种操作和管理。 BOS CMD 支持批量上传、同步上传(sync)、单文件上传三种Object上传方式,使用批量上传和同步上传(sync)可以高效的解决本地存量数据在线上云的问题。在这里先介绍批量上传方式:

您可以在已安装了 BOS CMD 的机器上执行以下命令来使用批量上传:

$ bcecmd bos cp <local-path> <bos-path> --recursive [--storage-class [STORAGE_CLASS]] 
[--restart] [--quiet] [--yes] [--disable-bar]

其中 local-path 为本地上传文件的目录。具体操作及注意事项请参见:BOS CMD Object 上传功能

方式2:月光宝盒物理寄送

月光宝盒是百度智能云 BOS 提供的一种 TB 级数据传输解决方案,它使用物理存储设备在百度智能云和客户 IDC 之间通过物流方式来传输大量数据。它解决了大规模数据传输中出现的高昂网络成本、较长传输时间和安全等问题,且具有简单、快速、安全、成本低的优点。

使用场景

  • 您的网络环境不好(带宽小、网络不稳定),且带宽成本非常昂贵;
  • 希望尽快完成数据的上云,但是专线方式的费用过于昂贵;
  • 自己没有硬盘或者无可移动的数据存储和传输设备。

月光宝盒由 BOS 为您提供移动存储设备,该设备具有大容量、可视化操作、军工级别防护加密等特性。单台月光宝盒设备的标定容量为 96 TB,实际使用容量为 83 TB 左右,适用于百 TB 级别的本地 IDC 数据迁移上云场景。

使用方式

您可以通过工单联系我们,也可以通过您的客户经理联系我们。我们将根据当前的设备使用情况,为您匹配合适的使用时间和使用周期。请您告知我们您的预计数据量(如 300TB)、IDC 所在城市、预期使用时间等信息。

产品介绍

月光宝盒详细介绍、操作流程及注意事项请参见月光宝盒介绍和月光宝盒操作流程

方式3:自有硬盘物理寄送

BOS 还提供了一种离线方式————自有硬盘寄送。它和“月光宝盒”的不同之处在于,设备需要由客户自行准备。您可以将数据写入自有硬盘,将硬盘批量寄送到百度智能云机房,我们将为您免费传输上云。该方案适用于百 TB 级别的本地 IDC 数据迁移上云场景。BOS 在机房有多台固定设备用于硬盘方式上云,每台设备最多支持 16 块硬盘同时挂载,同时上云。相比"月光宝盒",自有硬盘寄送的方式速度更快。

使用场景

自有硬盘寄送的方式适用于客户拥有较多硬盘,且需要迫切上云的场景,如:

  • 本地 IDC 机房需要清退,数据需要尽快寻找云上合适的存储位置;
  • 本地数据规模较大,希望尽快将数据备份上云。但专线方式花销较大,希望寻求其他性价比更高的方式。

使用限制

  • 仅支持国标 3.5 寸或者 2.5 寸移动硬盘;
  • 仅支持 USB 接口硬盘。很多大容量 3.5 寸硬盘只有 SATA 接口,您需要自行购买相应的硬盘盒,将硬盘盒和硬盘一同寄送到百度机房。硬盘盒可以通过各大网上商城购买,购买时搜索 "SATA 转 USB 硬盘盒"即可。一块硬盘在上传时需要匹配一个硬盘盒,请根据自身硬盘数量购买相应数量的硬盘盒。若硬盘盒数量小于硬盘数量,那么只能等待当前硬盘盒上硬盘数据上传完成后,再进行下一批次硬盘的数据拷贝上云;
  • 仅支持 ext4、ntfs 和 xfs 文件系统。您可以通过 man 5 fs 查看 linux 支持的文件系统详细信息;
  • 数据拷贝完成后,您寄来的硬盘和硬盘盒会全部给您寄回。寄回前,硬盘内全部数据会格式。若数据较为重要,请提前做好数据备份;
  • 硬盘到百度机房后,技术人员会立即全盘检测硬盘是否有坏道。若有坏道且导致无法读取,该硬盘会直接格式化后寄回。

使用费用

  • 硬盘寄送的全部运费和保价费用需要客户自行承担,包括硬盘寄送到百度机房的物流费用,以及上传完成后寄回的物流费用。上传完成后,BOS 会选择到付方式寄回硬盘;
  • 建议您对硬盘进行保价;
  • 数据上传时所产生的机房服务器使用费、网络带宽费用、技术人员支持服务等全部免费。

使用流程

第一步:若您使用自有硬盘寄送方式上云,请先通过工单或客户经理联系我们,并告知您的数据量(如共 30 TB )、硬盘数量(如 30 块移动硬盘)、是否含硬盘盒(若为 SATA 接口硬盘,请提前自行准备硬盘盒),硬盘预计到达百度机房时间、希望多久内上传完成等信息;

第二步:您需要将数据拷贝到硬盘,并做好数据检查和重要数据的数据备份;

第三步:将硬盘和硬盘盒(若含)寄送到如下地址:

地址 北京市通州区光电一体化基地兴光二街甲2号
电话 010-80823088/18611817954
联系人 CQ02机房

第四步:通过您的客户经理或者工单告知我们您需要上传的 Bucket 名称、期望的目录结构和您的 AK/SK,我们将为您进行数据上传操作。建议您自行提前创建 Bucket 并创建子目录,并创建新的 AK/SK,不要使用默认 AK/SK;

第五步:BOS 技术人员收到硬盘,检查无误后开始数据上传。上传完成后会通过工单或客户经理与您确认文件数量,确认后硬盘全部数据会进行格式化,之后会将硬盘和硬盘盒(若含)为您寄回

第六步:上传完成,您可以使用 BOS 控制台或者 API、SDK 等方式对数据进行管理和使用,并将 之前提供的 SK/SK 删除。

增量数据迁移上云

增量数据是指您此时正在产生或未来产生的数据。该数据一般是您业务产生的在线数据,具有实时性。

方式1:BOSCMD工具在线迁移

BOSCMD 工具的同步上传(sync)功能可以方便快捷的解决本地数据上云过程中,增量数据的问题。同步上传默认支持批量操作,可以将本地目录同步到 BOS。如果 BOS 端已经有名称相同且修改时间比本地文件新,同步上传会忽略此文件,只同步新文件或有改动的文件。 sync 命令会同时列举本地和 BOS 侧文件, 对于不同情况分别执行不同的动作,以保证增量数据的准确安全上传。

您可以在已安装了 BOS CMD 的机器上执行以下命令来使用同步上传(sync):

$ bcecmd bos sync <local_dir> bos:/<bucket_name>/[prefix] [--exclude EXCLUDE] 
[--include INCLUDE] [--delete] [--exclude-delete EXCLUDE-DELETE] [--dryrun]
 [--yes] [--quiet] [--storage-class STORAGE-CLASS] [--sync-type SYNC-TYPE] [--concurrency CONCURRENCY] [--restart]

其中 local_DIR 为本地同步目录。具体操作及注意事项请参见:BOS CMD 同步上传(sync)功能

相似文档
  • 针对客户从其他云(阿里云、腾讯云、华为云、天翼云等)迁移到BOS的场景,百度智能云对象存储BOS提供了三种迁移方式,分别是 CloudFlow 数据流转平台、BOS Import 工具和控制台在线数据导入功能。
  • 在 BOS 中,用户操作的基本数据单元是 Object,每个 Object 必须都包含在某个存储空间 (Bucket) 中。所以用户要存储数据,必须要创建 Bucket。 操作方式: 您可以通过 Console 控制台、 SDK 和 API 来创建 Bucket,具体如下:
  • 由于一个用户可创建的 Bucket 有配额限制(目前为100个),当某个 Bucket 不再使用时,用户可通过删除Bucket释放配额。 注意事项: 删除 Bucket 可能会影响相关用户和服务,请谨慎删除。
  • 存放在 BOS 上的文件通常会存在新建、归档、删除这样的生命周期过程。文件在新建时通常会被频繁读取访问,之后读取次数变少逐渐冷却,最终被删除。
  • 您可以通过BOS API的getBucketLocation接口获取存储空间(Bucket)所属的地域,即数据中心的物理位置信息。百度智能云支持的各区域详细信息可参见区域选择说明。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部