上云无忧 > 文档中心 > 百度智能云对象存储BOS设置存储空间清单
对象存储BOS
百度智能云对象存储BOS设置存储空间清单

文档简介:
存储空间清单是一种帮助用户管理存储桶中对象的功能。BOS 可根据用户的清单任务配置,定期每天或者每周扫描用户 Bucket 中指定对象并输出一份清单报告,以 CSV 格式文件的形式存储到用户指定的 Bucket 中。CSV 文件中会列出对象及其对应的元数据,并根据用户的配置信息,记录用户所需的对象属性信息。
*此产品及展示信息均由百度智能云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠

概述

存储空间清单是一种帮助用户管理存储桶中对象的功能。BOS 可根据用户的清单任务配置,定期每天或者每周扫描用户 Bucket 中指定对象并输出一份清单报告,以 CSV 格式文件的形式存储到用户指定的 Bucket 中。CSV 文件中会列出对象及其对应的元数据,并根据用户的配置信息,记录用户所需的对象属性信息。

说明:

  • 当前该功能在华北-北京、华东-苏州和华南-广州区域全量开放。

使用场景

清单是一种帮助用户管理存储桶中对象的功能,可以有计划地取代对象存储的 List API 操作。您可以使用清单功能实现包括但不限于以下基本用途:

  • 定期审核并输出文件列表及文件相关属性。
  • 通过定期扫描简化并加快业务工作流,无需通过脚本实现,简单配置即可定期输出文件报告。

使用前须知

在配置清单前,您需要了解两个概念:

  • 源存储桶:想要开通清单功能的存储桶。

    • 包含清单中所列出的对象。
    • 包含清单的配置。
  • 目标存储桶:存储清单的存储桶。

    • 包含清单列表文件。
    • 包含 Manifest 文件,描述清单列表文件的位置。

设置存储空间清单

  1. 登录 对象存储 BOS 管理控制台。
  2. 在左侧 Bucket 列表中,选择需要设置权限的 Bucket,点击 Bucket 名称进入 Bucket 管理目录。
  3. 在上方导航栏选择 配置管理 页签。
  4. 在 配置管理 页面中选择 高级配置,在 清单配置 区域点击 新增配置,创建清单规则。

5.设置清单规则

配置名称 配置描述
清单状态
  • 开启:清单规则创建后立即生效,BOS 根据规则配置定期扫描并输出报告
  • 关闭:仅创建清单规则创建但不开启规则,后续可自行开启
清单名称
  • 输入清单规则名称,只能包含大小写字母,数字和-_ .;必须以字母开头,长度1-64
清单存储位置
  • 输出清单报告的存储位置,需为当前地域下的其他 Bucket,不支持存放到当前 Bucket
报告清单前缀
  • 输入清单前缀名称。您可自定义一个名称,作为该策略下生成的清单报告前缀。
包含文件范围
  • 可设置对整个 Bucket 文件生效或者仅对前缀文件生效
清单导出周期
  • 您可以设置每三天或者每周导出一次清单
清单导出格式
  • 当前支持导出 CSV 格式清单报告

说明:

  • 每个 Bucket 最多同时创建 20 条清单规则。当超过规则数量上限后,您需要删除已有规则后重新创建;
  • BOS 的清单功能目前免费提供。

6.编辑或者删除清单规则

您可以对已创建的清单规则进行编辑,如将关闭的清单规则设置为开启状态。您也可以将已创建的清单规则删除。规则删除后,BOS 将不会按照该规则继续为您输入清单报告。

清单报告存储路径

  • 清单报告存放位置:清单报告会发布在目标存储桶中,其中清单报告会发布在以下路径:
destination-prefix/[source-bucket]/[config-ID]/[YYYY-MM-DDTHH-MMZ]/xxx.csv
  • Manifest 相关文件存放位置:相关的 Manifest 文件会发布在目标存储桶以下路径:
destination-prefix/[source-bucket]/[config-ID]/[YYYY-MM-DDTHH-MMZ]/manifest.json
destination-prefix/[source-bucket]/[config-ID]/[YYYY-MM-DDTHH-MMZ]/manifest.checksum

路径字段代表的含义

  • desitination-prefix:是您在配置清单时设置的“报告清单前缀”,可用于对目标存储桶中的公共位置的所有清单报告进行分组。
  • source-bucket:是清单报告对应的源存储桶名称,加入这个文件夹是为了避免在多个源存储桶将各自清单报告发送至同一目标存储桶时可能造成的冲突。
  • config-ID:是您在配置清单时设置的“清单名称”,当同一源存储桶设置多个清单报告并将其发送至同一目标存储桶时,可以用 config-ID 区分不同的清单报告。
  • YYYY-MM-DD-HH-MM:时间戳,包含生成清单报告时开始存储桶扫描的时间和日期。
  • manifest.json:指 Manifest 文件。
  • manifest.checksum:指 manifest.json 文件内容的 MD5。

清单内容

清单的生成内容包括清单 CSV 文件列表和相关的 Manifest 文件。

清单CSV文件列表内容

输出的清单文件列表中包含如下内容:

字段说明 说明
Bucket Bucket 名称
Key 文件名称
Size 文件数据长度
Etag 对象的哈希。可能是对象数据 base64 编码的 MD5 摘要,这取决于对象的创建方式
StorageClass 文件的存储类型
CreateTime 文件的创建时间。时间格式为:yyyy-mm-ddThh:mm:ssZ 。如:2016-09-07T00:00:00Z(UTC)

Manifest文件内容

Manifest 文件包含如下内容:

字段说明 说明
sourceBucket 清单报告对应的源存储桶名称
destinationBucket 放置导出文件的目标存储桶名称
version 导出的版本。格式为”year-month-day“, 如”2021-11-03“
fileFormat 报告的格式
fileSchema 报告的架构
files 目标存储桶中的导出报告文件的实际列表。包含 key(清单文件的名称)、size(清单文件的大小)、md5Checksum(该文件的 md5 值)

Manifest 报告示例如下:

{
   "sourceBucket": "src-bucket-name",
   "destinationBucket":"destination-bucket-name",
   "version":"2020-11-03",
   "fileFormat":"CSV",
   "fileSchema":"Bucket,Key,Size,etag,StorageClass,PutDate,CreateTime",
   "files":[
        {
            "key":"destination-prefix/[source-bucket]-[config-ID]-[YYYY-MM-DDTHH-MMZ]-index.csv",
            "size":1603959,
            "md5Checksum":"2177e775870def72b8d84febe1ad3574"
        }
      ]
}

API 参考

  • PutBucketInventory:用于为源bucket中创建清单任务,您可以对清单任务命名后,使用该请求创建清单任务;
  • GetBucketInventory:使用 GET 操作来获取指定桶的某个清单配置。
相似文档
  • 当用户需要跟踪 BOS 的访问请求时可以开启 BOS 日志功能。日志记录功能可以应用在访问统计和安全审核等方面,每条访问日志记录了单个访问请求的详细信息,包括请求者、Bucket 名称、请求时间和请求操作等信息,访问日志格式描述请参见设置访问日志。
  • 请求者付费模式是指由请求者支付读取存储空间(Bucket)内数据时产生的流量和请求费用,而 Bucket 拥有者仅需支付存储费用。当您希望共享数据,但又不希望产生流量费用和请求费用时,您可以开启此功能。
  • 为了提高 BOS 数据的可靠性,用户可以通过配置回收站的功能,保证删除后的数据在回收站内继续保留,用于后续对删除数据的找回。进入回收站的文件仍然会继续计费,直到您彻底删除。如果您有定期删除老回收站内文件的需求,建议配置生命周期规则来删除过期文件。
  • BOS 支持用户将静态网站托管在 Bucket 上,实现网站轻量化运维。设置生效后,用户可通过直接访问该Bucket的域名访问该托管网站。 静态网站是指网站内容全部为 HTML、JPG 等静态化资源,不包含诸如 PHP、JSP 或 ASP.NET 等服务器端脚本。
  • 百度智能云提供标签管理功能,通过给每个云资源添加标签,从而快速分类和识别管理这些资源。 标签:每个标签由键和值两部分组成,标签(键+值)唯一。 单个和批量:支持为单个资源设置标签,也可以批量为云资源创建标签。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部