上云无忧 > 文档中心 > 百度智能云对象存储BOS设置数据同步
对象存储BOS
百度智能云对象存储BOS设置数据同步

文档简介:
BOS 提供数据同步功能,您可以在处于不同地域的 2 个 Bucket 之间建立数据的自动同步关系。当您设置好源 Bucket 和目标 Bucket 之后,BOS 将自动执行从源 Bucket 到目标 Bucket 间的数据同步。您还可以指定源 Bucket 内需要同步的数据范围,并设置是否同步历史数据。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

概述

BOS 提供数据同步功能,您可以在处于不同地域的 2 个 Bucket 之间建立数据的自动同步关系。当您设置好源 Bucket 和目标 Bucket 之后,BOS 将自动执行从源 Bucket 到目标 Bucket 间的数据同步。您还可以指定源 Bucket 内需要同步的数据范围,并设置是否同步历史数据。

数据同步功能能够很好的提供 Bucket 跨区域、跨账号或其他数据复制的需求。目标 Bucket 中的对象是源 Bucket 中对象的精确副本,它们具有相同的对象名、元数据以及内容,例如创建时间、拥有者、用户定义的元数据、Object ACL、对象内容等。

使用场景

您可能基于各种原因对 Bucket 配置数据同步,这些原因包括:

  • 高效访问,减少延迟:跨 Region 访问 Bucket 或者 Object,访问速度会因地理上的差异而降低。通过数据同步功能可提前将需要的数据同步至目标 region,提高访问效率。
  • 跨地域容灾:基于金融、政府等行业的合规性要求,在同一 Region 中虽然有数据多副本设置。但为了防止洪水、地震等机房级别灾害,也要求数据跨 Region 保存一份副本,BOS 的数据同步功能提供了这样的能力。
  • 跨账号复制:适用于企业的多帐号场景。处于数据安全和多备份考虑,企业希望将数据从 A 账号定期同步到 B 账号,以实现数据的跨账号复制和共享。
  • 跨区域数据复用:由于业务原因例如跨 Region 搭建的计算集群需要使用同一组数据等场景,可以使用 BOS 数据同步功能复制数据副本。

设置数据同步

  1. 登录 对象存储 BOS 管理控制台。
  2. 在左侧 Bucket 列表中,选择需要设置权限的 Bucket,点击 Bucket 名称进入 Bucket 管理目录。
  3. 在上方导航栏选择 配置管理 页签。
  4. 在 配置管理 页面中选择 高级配置,在 数据同步配置 区域点击 开启配置 对该 Bucket 的数据同步进行配置。

  1. 在数据同步配置操作栏中,选择数据同步策略、数据同步对象、历史数据是否同步、同步目标区域、目标Bucket以及目标存储类型。

配置模块 配置说明
规则基本信息
  • 规则名称:该规则的名称,最多20个字符,支持大小写字母,数字及-_特殊字符
  • 规则状态:是否创建时立即开启。若创建时选择关闭,可以后续在规则列表中开启。规则开启后将立即开启数据同步
  • 数据同步策略:若选择全量同步策略,则源 Bucket 文件发生新增/修改/删除操作的文件都将同步到目的 Bucket;若选择写同步,则只有源 Bucket 文件发生新增/修改操作时会同步到目的 Bucket,删除文件不会同步
数据源设置
  • 数据同步范围:可以将 Bucket 内全部文件同步到目标 Bucket,或者指定源 Bucket 文件前缀。一条数据同步规则最多设置 20 个前缀
  • 历史数据:是否开启源 Bucket 历史数据同步。历史数据同步同样根据前缀进行匹配,若选择开启且已指定文件名前缀,那么仅同步符合前缀规则的历史数据;若选择关闭历史数据同步,那么该规则生效后只同步源 Bucket 中的新增数据
数据目标设置
  • 目标区域:BOS 支持跨区域数据同步,您可以选择目标 Bucket 所在的区域
  • 目标 Bucket:选择或输入目标 Bucket 名称。目标 Bucket 仅下拉展示您当前账号下的 Bucket 列表。若您希望实现跨账号复制,您可以直接输入其他账号下的目标 Bucket 名称,但 BOS 不会为您获取其他账号的 Bucket 列表。若您输入的目标 Bucket 归属于其他账号,请仔细确认 Bucket 名称准确无误,并确保目标 Bucket 已为源账号开启写权限。权限设置请查看设置Bucket权限文档
  • 目标前缀:您可以选择文件在目标 Bucket 中的存储位置。若输入的前缀不存在,目的端 Bucket 将自动生成新的前缀。前缀不支持连续的/符号,若您输入的前缀中包含连续/如///,则/只保留一个
  • 目标存储类型:您可以设置文件在目的 Bucket 中的存储类型。目标 Bucket 的存储类型可以选择和源对象相同,也可以根据需要选择其它的存储类型。多 AZ 类型 Bucket 仅能同步到多 AZ 类型 Bucket,无法同步到单 AZ 类型 Bucket;单 AZ 类型 Bucket 仅能同步到单 AZ 类型 Bucket,无法同步到多 AZ 类型 Bucket。

说明:

  • 数据同步的两个 Bucket 可以是跨区域的,也可以是同区域的。只有跨区域 Bucket 间的数据同步会触发流量费用,同区域 Bucket 间的数据同步,不会收取流量费用。
  • 数据同步的两个 Bucket 可以是跨账号的,也可以是同账号的。请您仔细确认输入的目标 Bucket 名称准确无误。若目标账号中的目标 Bucket 处于其他区域,将产生跨区域流量费用,流量费用由源账号承担,目标账号承担存储和请求费用。
  • 支持 Bucket 间的多规则同步,即一个源 Bucket 可以有多个目的 Bucket,一个目的 Bucket 可以有多个源 Bucket。假设有三个 Bucket,分别命名为 A、B、C:(1)支持将 A 作为 B 的源 Bucket 的同时,将 B 作为 C 的源 Bucket;(2)支持将 A 作为 B 的源 Bucket 的同时,将 B 作为 A 的源 Bucket;(3)支持将 A 同时作为 B 和 C 的源 Bucket;(4)支持将 C 同时作为 A 和 B 的目标 Bucket。
  • 对非标准存储 Object 进行数据复制操作时,会触发数据取回费用。
  • 对于处于同步状态的两个 Bucket,源 Bucket 复制过去的 Object 可能会覆盖目标 Bucket 中同名的 Object,使用中请注意。
  • 由于数据同步采用异步复制,数据复制到目标 Bucket 需要一定的时间,通常几分钟到几小时不等,取决于数据的大小。
  • 出于数据安全考虑,BOS 不会获取并返回跨账号同步的启动状态。若您已开启跨账号同步,建议您主动查询目的 Bucket 中是否已经开始数据同步进程。若源数据在 5 分钟内还未同步到目的账号 Bucket 中,请再次检查写权限是否开启。若写权限已开启后仍同步失败,请提交工单。
  1. 点击 确认,完成配置。

相关 API

  • PutBucketReplication
  • GetBucketReplication
  • DeleteBucketReplication
  • GetBucketReplicationProgress
  • ListBucketReplication
相似文档
  • 跨域资源共享(Cross-Origin Resource Sharing,CORS)是 HTML5 提供的标准跨域解决方案,而跨域访问是指当发起请求的资源所在域不同于该请求所指向的资源所在域时的一种访问形式。出于安全考虑,浏览器会限制这种非同源的访问,但在实际应用中,跨域访问需求是普遍存在的。
  • BOS 的 Referer 白名单功能通过设置 Referer 白名单,限制仅白名单中的域名可以访问您 Bucket 内的资源。当您的 Bucket 处于公共读或公共读写的情况下,该设置可以有效防止存储在 BOS 中数据被其他人盗链,保护您的合法权益。
  • Bucket 合规保留是数据保护的一种方式,用于规避重要的数据存入 Bucket 后被意外删除的风险,适用于金融、保险、医疗、证券等行业。合规保留是一种基于时间的配置策略,用户开启 Bucket 合规保留后需要设定数据保留的时间期限。
  • 存储空间清单是一种帮助用户管理存储桶中对象的功能。BOS 可根据用户的清单任务配置,定期每天或者每周扫描用户 Bucket 中指定对象并输出一份清单报告,以 CSV 格式文件的形式存储到用户指定的 Bucket 中。CSV 文件中会列出对象及其对应的元数据,并根据用户的配置信息,记录用户所需的对象属性信息。
  • 当用户需要跟踪 BOS 的访问请求时可以开启 BOS 日志功能。日志记录功能可以应用在访问统计和安全审核等方面,每条访问日志记录了单个访问请求的详细信息,包括请求者、Bucket 名称、请求时间和请求操作等信息,访问日志格式描述请参见设置访问日志。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部