联系我们

苏州奥尔马电子科技有限公司

江苏省苏州市高新区金猫路9号B幢

丁经理

13584892482

13584892482

135848924828

【阿里云】文件存储CPFS

发布者:极豹云发布时间:2022-05-19访问量:339

文件存储CPFS (Cloud Parallel File Storage),是阿里云完全托管、可扩展的并行文件存储系统,针对高性能计算场景的性能要求进行了深度优化,提供对数据毫秒级的访问和高聚合IO、高IOPS的数据读写请求,可以用于AI深度训练、自动驾驶、基因计算、EDA仿真、石油勘探,气象分析,机器学习,大数据分析以及影视渲染等业务场景中。


产品售卖



使用流程
1 创建文件系统

根据业务需求创建适合的CPFS文件存储规格


2 安装客户端
安装CPFS定制客户端

3 挂载文件系统
挂载CPFS文件存储到计算集群

4 下发业务IO
计算集群下发业务读写IO


CPFS服务优势


完全托管
云中完全托管的服务,可以轻松创建和运行高性能文件系统。不再需要考虑安装和配置软件,以及复杂的性能调优工作,只需几分钟就能立刻开始使用高性能的文件存储,开始你的业务

超高吞吐和IOPS
文件存储CPFS采用分布式的并行架构,数据条带化后均匀分布在存储集群上,可以实现计算节点并行访问,提供数十GB的吞吐和几十万级的IOPS以及毫秒级时延

弹性可扩展
支持在线的扩容,由于所有数据均以条带化的方式存储并且支持扩容以后的自动负载平衡,可满足性能的线性增长并且即时利用扩容节点的吞吐和存储能力,满足业务增长需要的更多容量与性能的诉求

高可用
所有节点均为高可用设计。实现集群内秒级别的故障检测,并由CPFS集群调度器自动将服务切换到其他节点,同时兼顾负载均衡。整个切换过程用户不感知,提供远高于传统两节点HA的高可用性。

安全可靠
数据持久化存储于阿里云自研的盘古分布式存储系统,支持多份数据拷贝,可以提供11个9的数据可靠性,并完美通过了阿里双十一超高压力的考验。


精心打造的功能


兼容POSIX/MPI
文件存储CPFS的兼容标准POSIX/MPI,因此您可以使用当前基于 Linux 的应用程序,无需进行任何更改。需要MPI支持的高性能计算软件,也可以直接访问数据。

高吞吐,低延时
依靠并行架构,用户I/O在客户端和存储节点间完全并行访问,通过集群聚合,吞吐可以线性增加,同时保持亚毫米级的时延

并发访问优化
统一命名空间,支持成千上百机器同时并发访问,针对数据处理进行了优化。即使是大量的小文件,访问性能也可以提高10倍以上

文件管理功能
支持目录级别的ACL访问控制

计算生态整合
作为阿里云中高性能计算存储服务,与E-HPC,BatchCompute,容器等计算平台整合,支持集群直接挂载CPFS文件系统。用户CPFS中的数据可以借助阿里云丰富的计算生态进行快速分析。


场景介绍
自动驾驶模型训练
为自动驾驶场景中车载摄像头、雷达、红外等设备采集的大量的小文件,文件存储CPFS提供低延时,高IOPS的访问能力,同时与机器学习/深度学习平台无缝整合,模型训练速度可以提高3倍以上。

基因组测序数据组装
基因序列组装需要海量的并发计算作业,文件存储CPFS提供高达百GB的访问带宽,可以满足成百上千个节点同时访问的需求,破除文件IO访问瓶颈,任务完成时间缩短到原来的50%。

石油勘探业务分析
大量地质数据需要计算、处理和分析,并且原始地震资料和过程数据需要长期保存。文件存储CPFS提供PB级单一命名空间,支持空间配额灵活管理,资源划分给不同的计算任务,满足业务随时扩展的需要。