上云无忧 > 文档中心 > 腾讯云高性能计算平台 THPC - 存储资源管理概述
高性能计算平台 THPC
腾讯云高性能计算平台 THPC - 存储资源管理概述

文档简介:
创建 THPC 集群之后,可以给集群挂载额外的 CFS 或者 GooseFS 等文件系统,以提供不同场景下的存储能力。本文主要介绍集群存储选项的使用方法。
*此产品及展示信息均由腾讯云官方提供。免费试用 咨询热线:400-826-7010,为您提供专业的售前咨询,让您快速了解云产品,助您轻松上云! 微信咨询
  免费试用、价格特惠
创建 THPC 集群之后,可以给集群挂载额外的 CFS 或者 GooseFS 等文件系统,以提供不同场景下的存储能力。本文主要介绍集群存储选项的使用方法。

创建存储资源

在使用 THPC 存储挂载功能前,需要提前创建好存储资源。目前 THPC 支持的 CFS 和 GooseFS 文件系统(创建的存储资源必须与待挂载的THPC集群在同一 VPC 下)。
挂载 CFS:需开通 CFS 服务,创建 CFS 文件系统。具体操作请参见 创建文件系统
挂载 CFS-TURBO:需开通 CFS-TURBO 服务,创建 TURBO 文件系统。具体操作请参见 创建文件系统
挂载 GooseFS:需使用自建集群部署配置 GooseFS 服务。具体操作请参见 自建集群部署 GooseFS

挂载存储选项

挂载存储选项有两种方式。
创建集群(CreateCluster)时,填写存储选项(StorageOption)参数,会为集群中所有节点挂载上存储资源。
集群创建完毕并且为运行中(RUNNING)状态的集群,通过添加集群存储选项(AddClusterStorageOption)接口进行添加集群存储选项,添加完之后,THPC 会尝试对当前集群存在的所有节点挂载上存储资源。后续通过THPC扩容出来的实例也会挂载上存储选项的资源。
AddClusterStorageOption 接口输入参数示例:
说明
如果本地 /opt/ 挂载点没有挂载文件系统,THPC 在集群创建过程中会自动创建一个标准型的 CFS 挂载到 /opt/ 目录下,用于存储 THPC 集群的调度器配置、THPC集群相关依赖等。
如果 LocalPath 本地目录不存在,THPC 会自动创建此目录。
如果 RemotePath 远程目录不存在, THPC 会在 CFS 中为您创建子目录,CFS 支持子目录挂载;注意 CFS-TURBO 不支持子目录挂载。
更多参数说明请参见 CFSOptions 数据结构
		
{
"ClusterId": "hpc-rv7hahw2",
"StorageOption": {
"CFSOptions": [{
"LocalPath": "/data",
"RemotePath": "172.30.3.90:/",
"Protocol": "NFS 4.0",
"StorageType": "SD"
}]
}
}

检查存储选项

通过查询集群存储选项 (DescribeClusterStorageOption)可以查询目前集群设置的存储选项,后续THPC会对扩容节点进行文件系统的挂载。
登录实例检查文件系统是否成功挂载。
1. 登录 CVM 控制台,找到需要检查的实例,单击登录

2. 输入密码登录实例。
3. 登录实例后输入 df -h 命令。可以看到实例已经成功挂载了存储选项。

删除存储选项

通过删除集群存储选项 (DeleteClusterStorageOption)接口进行删除集群存储选项,删除完之后,THPC 会尝试对当前集群存在的所有节点进行解挂载存储资源。后续扩容的节点都不会挂载上此存储选项。
DeleteClusterStorageOption 接口输入参数示例:
		
{
"ClusterId": "hpc-5lyv94lq",
"LocalPath": "/data"
}
调用成功后,可以看到实例 /data 已经不是本地挂载点:

相似文档
  • 背景说明: THPC 集群中的节点在创建过程中,提供用户自定义集群初始化脚本能力,满足客户对于节点开始执行任务之前,预部署需求。包括存储的挂载、数据预处理、配置变更和软件部署等操作。
  • 背景说明: THPC 的弹性扩缩功能支持根据您的业务负载动态伸缩集群节点,帮助您节省集群成本。您可以根据需要选择不同的扩缩容模式,在创建集群接口中的 AutoScalingType 进行配置,推荐您使用 THPC_AS 模式进行扩缩容,支持自动匹配作业需要的实例资源,且弹性伸缩的实例与创建集群时配置的TAG一致。
  • 背景说明: 默认情况下,THPC 基于公共镜像进行扩容计算节点所需时间大概在3分钟到5分钟。如果您运行的任务对于扩容时间比较敏感,可以在扩容时选择预装 THPC 所需依赖包的自定义镜像,来加快 THPC 计算节点的扩容。
  • 本文以使用 VASP 软件进行高性能计算介绍如何配置自动伸缩策略。 背景信息: 当您需要每天不定时提交作业,使用 THPC 集群几个小时进行大规模计算, 然后释放节点,您可以针对不同的作业类型,配置不同的伸缩策略。配置伸缩策略后,系统可以根据实时负载自动增加或减少计算节点。可以帮您合理利用资源,减少使用成本。
  • CONQUEST 是什么? CONQUEST 是一款基于局域轨道密度泛函理论的、能以出色的缩放比例进行大规模 并行计算 的第一性原理计算软件。它使用局部轨道来表示 Kohn-Sham 本征态或者密度矩阵。
官方微信
联系客服
400-826-7010
7x24小时客服热线
分享
  • QQ好友
  • QQ空间
  • 微信
  • 微博
返回顶部