高性能
提供全闪存储介质,利用高速磁盘存储元数据、数据信息,实现低延迟、大吞吐的访问性能;支持高性能协议访问,深度集成HPC 应用。
多协议支持
支持先进的并行存储架构,支持主流存储协议及接口(HDFS协议、NFS协议、CIFS协议、POSIX接口、S3接口等),支持高IO、高并发的数据访问需求;提供全局命名空间,支持统一的数据访问入口,实现多云、多集群的管理能力。
分层存储
通过自动化的数据分层管理和数据迁移,使企业的数据按需、有序地流动起来,充分发挥公有云对象存储的海量、弹性、低成本和性能层存储的快速、灵活的特点,并且通过全局命名空间对数据进行统一的管理,形成了一体化的混合云存储架构。
应用场景
方案架构
将AI训练平台和并行存储一体机部署在本地数据中心,训练数据存储在腾讯公有云 COS 对象存储。在训练之前按需将数据缓存到本地的⾼性能并行存储系统集群中进⾏AI训练,训练结果按需保存在本地的高性能并行存储系统或云上对象存储COS中。
部署方案
本地数据中心,搭建并行存储系统集群及并行存储混合云管理平台,挂载腾讯云对象存储(Secret ID/Secret Key)到本地并行存储系统集群;
在本地并行存储系统按需创建文件预取列表
在AI训练前,在本地并存储执行预取数据命令,将所需数据按批次依次缓存到本地并行存储系统中。
AI训练平台在本地并行存储系统中读取计算所需数据,并将计算结果晖写到本地并行存储中。
方案优势
充分利用公有云对象存储随需弹性扩容的优势,按需购买容量,避免资源浪费。
通过并行存储系统混合云方案,按需缓存所需数据到本地,通过本地高性能并行存储系统集群充分满足AI训练计算时的高吞吐要求。
共享本地高性能并行存储资源,提高本地存储资源利用率,不需要购买大规模本地存储,节省成本。
混合云场景
方案架构
客户应用、并行存储一体机部署在本地数据中心,客户数据统一存储在腾讯公有云 COS 对象存储中。通过并行存储混合云方案,平台根据数据的使用频率自动将常用数据缓存到本地部署的并行存储集群中。客户在使用数据的时候,如果缓存命中,则直接访问本地并行存储系统中的缓存数据;如缓存未命中,则并行存储混合云平台将数据从云端拉到本地存储中提供给应用访问。
部署方案
本地数据中心,搭建并行存储系统集群及并行存储混合云管理平台,挂载腾讯云对象存储(Secret ID/Secret Key)到本地并行存储系统集群;
将本地并行存储系统中相应的数据集挂载到本地的应用服务器按需创建文件预取列表
本地并存储混合云平台自动发现和计算数据的使用频率,动态缓存云端的高频数据。
本地应用通过部署在本地的高速并行存储系统读取、使用云端数据。
方案优势
充分利用公有云对象存储随需弹性扩容的优势,按需购买容量,避免资源浪费。
提升本地应用访问云端对象存储数据的速度,实现云端存储数据访问的本地存储式体验。
减少应用对云端数据的直接访问次数,节省广域网带宽,降低云端存储下载流量,降低使用成本。
对应用透明,应用不需要进行改造。
高性能计算场景
方案架构
HPC集群、并行存储一体机部署在本地数据中心,数据存储在本地或腾讯公有云 COS 对象存储。若不在本地,在HPC运算之前按需将数据预取到本地的⾼性能并行存储系统集群中,然后进⾏HPC运算,结果仍然保存回本地的高性能并行存储系统集群并⾃动异步推送回腾讯云COS
部署方案
本地数据中心,搭建并行存储系统,挂载腾讯云对象存储(Secret ID/Secret Key)到本地并行存储系统集群;
在本地并行存储系统按需创建文件预取列表;
在HPC计算前,在本地执行预取数据命令,将所需数据缓存到本地并行存储系统中;
HPC在本地并行存储系统中读取计算所需数据,并将计算结果回写到本地并行存储中;
本地并行存储将HPC计算结果异步同步到腾讯云COS对象存储。
方案优势
充分利用公有云对象存储随需弹性扩容的优势,按需购买容量,避免资源浪费。
通过并行存储混合云方案,按需预取所需数据到本地,通过本地高性能并行存储集群充分满足HPC计算时的高吞吐、低延时的要求。
共享本地高性能并行存储资源,提高本地存储资源利用率,不需要购买大规模本地存储,节省成本。
统一存储场景
方案架构
文件/对象存储系统、并行存储一体机部署在企业数据中心里。通过并行存储混合云方案,建立统一命名空间,实现跨企业私有云存储和腾讯公有云COS对象存储的文件/对象数据统一分层管理,通过动态智能数据缓存实现跨数据中心级跨公有云/私有云的数据访问加速。
部署方案
企业数据中心,部署并行存储一体机。挂载数据中心文件/对象存储到本地的并行存储。挂载腾讯云COS对象存储到需要的企业数据中心的并行存储。企业数据中心和腾讯云COS对象存储通过并行存储建立统一命名空间,形成统一数据视图。
方案优势
通过建立统一命名空间,实现企业级的跨私有云/公有云存储的数据的统一视图。实现统一的容量管理,简化存储扩容复杂度。
提升应用跨数据中心及跨公有云/私有云访问数据的速度,实现跨数据中心及及云端数据访问的本地存储式体验。
高效地使用不同类型的存储,在满足不同业务需求的前提下,实现存储的最优化配置,降低存储成本。
通过自动的分层存储,实现数据的按需存储,提升应用对数据的访问效率。
减少广域网访问流量,降低广域网带宽成本。
对应用透明,应用不需要进行改造。
对象存储 COS
提供稳定持久、安全可靠、成本最优的云端存储服务,可根据应用程序类型提供各语言 SDK,实现无缝接入。
并行文件系统一体机
提供高性能、低延迟、大吞吐的并行文件系统服务,支持多协议访问,支持私有化部署,支持对接公有云对象存储,打通线上和线下,实现数据分层存储。
数据加速器 GooseFS
提供高性能、高可用、稳定可靠的分布式文件缓存服务,支持 AI / 大数据等数据密集型业务。
腾讯云 TI 平台
一站式机器学习生态服务平台,涵盖了数据预处理、模型训练、评估、预测全部流程 。
容器服务
稳定、安全、高效、灵活扩展、简单易用的 Kubernetes 容器管理平台。
弹性 MapReduce
云端托管的弹性开源泛 Hadoop 服务,支持 Spark、Hbase、Presto、Flink、Druid 等大数据框架 。