文档中心

任务信息

1. 在日志服务页面中点击“投递任务”，进入“投递任务列表”页面，点击“创建投递任务”，进入创建投递任务页面，填写配置信息。
2. 在"任务信息“中，请输入任务名称。

通用投递配置

请在投递配置相关中输入您期望的日志集、BOS路径、压缩类型、存储格式、间隔时长等内容。

• 日志集：在下拉菜单中选择需要被投递的日志集,支持输入日志集名称搜索。
• 日志起始时间：输入期望开始的日志投递时间，可设置精确至秒级，默认为当前时刻。

• BOS路径：选择期待投递至的BOS桶的路径

  • 已创建bucket：若在BOS控制台已成功创建bukcet，可在下拉列表中选择该bucket。（若未找到，请您检查该bukcet是否与投递的日志集处于同一region）
  • 未创建Bucket：若未创建bucket，可点击下拉列表中的创建Bucket进行新建。

• 时间分区格式：您可设置时间分区格式，支持到分钟级别颗粒度信息，默认格式为%Y/%m/%d/%H/%M/。
• 日志流分区：开启日志流分区后，日志流将作为BOS的分区路径，投递到BOS中的文件将会存储在%Y/%m/%d/%H/%M/%logStram路径之下。
• 投递Size上限：设置投递Size上限后，若投递文件大小超过该上限，日志文件将会被分成多个部分，以此控制BOS中Object大小。

• 压缩类型：选择是否启用先压缩日志文件后投递的功能，默认不启用，若需启用请选择压缩算法，各压缩算法特点如下：

  • Gzip：压缩率高，可有效节省空间，但压缩速度慢，且较Snappy和Lzop更多占用CPU资源。
  • Snappy：压缩速度快，但压缩率低于Gzip。
  • Lzop:压缩速度快，但稍慢于Snappy，压缩率也稍高于Snappy。
  • Bzip2:压缩速度高，高于Gzip，但压缩速度慢。

• 投递间隔时间：投递任务将按照系统时间周期触发运行，周期可以指定为5-60分钟。

存储格式配置

日志集投递到BOS后，支持存储为不同的存储格式，包括JSON格式、Parquet格式、CSV格式，不同存储格式配置如下：

• JSON格式：数据将按照JSON格式投递至BOS中，无需额外配置
• Parquet格式：

• 键值名称：该键值作为Parquet的数据列名。
• 键值类型：支持int32、int64、float、double、boolean、string类型。

• CSV格式：

• 键值名称：写入CSV文件中键值字段名称。
• 分隔符：支持空格、制表符、竖线、逗号作为分隔符，并且支持用户自定义分隔符，自定义格式限制最多3个字符。
• 引用符：当字段出现分隔符中的字符时，需要使用引用符包裹，避免字段被误分割。
• 投递字段名称：开启该选项后，字段名称将写入CSV文件。