上云无忧 > 文档中心 > 百度智能云对象存储BOS在线数据导入
对象存储BOS
百度智能云对象存储BOS在线数据导入

文档简介:
当用户准备使用百度智能云 BOS 时,通常需要将其他云存储上的数据迁移至百度智能云 BOS 上。如果迁移部分数据量较大,使用传统的 下载再上传 的人工迁移方式往往费时费力,难以达到用户快速迁移的业务需求。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

概述

当用户准备使用百度智能云 BOS 时,通常需要将其他云存储上的数据迁移至百度智能云 BOS 上。如果迁移部分数据量较大,使用传统的 下载再上传 的人工迁移方式往往费时费力,难以达到用户快速迁移的业务需求。

因此,BOS 为广大用户提供了在线数据导入功能。用户只需配置好导入规则,系统将自动去源目录抓取数据并存储至 BOS 上的指定路径,大幅提高业务数据的迁移效率。

注意事项

  • 源 Object 大小限制为 0 - 10 GB。
  • 迁移至 BOS 的数据都会默认传至该目标 Bucket 中。
  • 源目录需为允许读取的状态,保证 BOS 可获取到该 Object。
  • 若迁移的文件与目标 Bucket 中的某一个文件重名,Bucket 中该文件将直接被新文件覆盖。
  • 传输服务运行时,第三方源路径可能会产生读取费用;BOS 写入目标 Bucket 时会产生请求费用。
  • 在线导入任务会占用一定的带宽资源,因此用户需要合理安排任务执行时间,避免带宽被占满后对其他业务的影响。

在线数据导入

  1. 登录 BOS 管理控制台,进入全局概览页面。
  2. 点击左侧导航栏"数据在线导入"进入。

注意: 为了保证任务传输的性能,目前系统仅支持最多有 2 个“运行中”状态的任务。

  1. 进入创建任务页面,填写以下配置信息:
参数 说明
任务名称 支持大小写字母、数字、中文以及-_ /.特殊字符,必须以字母开头,长度1-65。
传输目标 选择一个创建好的Bucket,将其作为在线数据导入的目的 Bucket。
选择传输源 点击选择文件按钮,将在本地准备好的 URL 列表文件上传到 BOS 中。关于此 URL 列表文件的格式要求,可参见 URL列表文件格式要求 。
配置执行时间 根据自身需要选择限定运行时段,或者设置在所有时间段运行
  1. 点击提交,完成在线数据导入任务的创建,在任务列表中可以看到运行中的任务。

URL列表文件格式要求

URL 列表文件包含如下三部分信息:

  1. Object 在源目录的位置,以 URL 方式定义;
  2. Object 传输至 BOS 的指定 Bucket 后,存放的路径及 Object 名称;
  3. Object 上传至 BOS 后的存储类型,有 STANDARD、STANDARD-IA、COLD、ARCHIVE 四种,分别对应标准存储、低频存储、冷存储、归档存储类型。如果不填的话,默认是标准存储类型。

BOS 支持用户在一个 .txt 文件中定义上述三部分信息。每一行代表一个 Object,第一列代表此Object 传输至 BOS 的存放路径,第二列代表在源目录地址,第三列代表在BOS的存储类型,如下图所示:

以第一行代表的 Object 为例,其在源目录中的存放路径为http://abc001.com/A/1.jpg;其通过在线导入后在 BOS 指定 Bucket 下保存在cjbucket1/A/1.jpg这个路径中,其文件在 BOS 内的存储类型为 STANDARD,即标准存储类型。

注意:三列信息之间,需以 TAB 隔开。

传输列表

查看任务

  • 已创建的任务会在传输列表统一展现。列表中展现每一个任务的名称、目标 Bucket、当前任务状态、任务创建时间及任务进度信息。
  • 对于每项任务,用户可在任务栏的下拉状态中查看更详细的任务信息。

管理任务

  • 用户可对运行中的任务执行暂停操作,可对停止的任务执行删除或恢复操作,可对完成的任务执行删除操作。

任务日志

对于已完成的任务,BOS 还会自动生成一份任务日志,详细陈列任务执行过程中每个 Object 的传输情况,便于用户对失败的 Object 进行定位。

仅需点击下图中点击下载按钮即可,此任务日志也会默认上传至任务传输目标 Bucket 的根目录下。

相似文档
  • BOS 统计分析主要是以各 Bucket 中的数据为基础,从资源用量、API 统计信息、用户行为、热点信息等维度进行监控和分析,以图形或报表形式呈现。统计分析报表可以帮助用户了解资源的使用状况和业务特征,方便用户做业务分析。
  • 百度智能云对象存储 BOS(Baidu Object Storage),提供稳定、安全、高效以及高扩展存储服务,支持单文件最大 5TB 的文本、多媒体、二进制等任何类型的数据存储。数据多地域跨集群的存储,以实现资源统一利用,降低使用难度,提高工作效率。
  • 本文将向您介绍对象存储 BOS 产品中涉及的几个基本概念,以便于您更好地理解 BOS 产品。 存储空间(Bucket): Bucket 是存放数据的容器,可以当成是存储桶。Bucket 具有区域属性,只能位于一个区域。
  • BOS 访问域名支持 HTTP 和 HTTPS 两种调用方式。为了提升数据的安全性,建议通过 HTTPS 调用。更多关于 HTTPS 保障传输安全的使用请参考 HTTPS 传输加密实践。 Region 表示 BOS 数据中心所在的区域, EndPoint 表示 BOS 对外服务的访问域名,更多概念请参考基本概念。
  • 数据上云的过程,可以分为“本地数据上云”、“从其他云迁移到BOS”两种场景,每种场景下都有存量和增量数据。百度智能云对象存储BOS提供了多种数据迁移方式,在数据一致性及无缝切换的前提下,尽量减少额外开销。您可以根据自身的业务情况,灵活选择数据迁移方式。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部