联系我们

苏州奥尔马电子科技有限公司

江苏省苏州市高新区金猫路9号B幢

丁经理

13584892482

13584892482

135848924828

【阿里云】高性能计算存储解决方案

发布者:极豹云发布时间:2022-05-19访问量:310

基于阿里云丰富的存储产品能力,助力 AI 、基因、自动驾驶、天文和能源等行业打造高性能计算平台,为计算引擎提供高吞吐、高 IOPS 和大容量的数据存储和管理能力,并提供线下、线上和混合云等多种架构设计,满足不同场景下的业务需求,快速支撑业务和提升市场竞争力。


方案架构
高性能计算存储解决方案
以高性能并行文件存储 CPFS 为核心,充分利用与 OSS 和 NAS 之间的数据分层流动, 与神龙、GPU和容器等计算产品无缝结合,为 AI、超算、仿真和生信等业务提供高性能计算存储解决方案。


可以解决的问题
海量业务带来的吞吐和 IO 性能瓶颈
传统文件存储无法弹性扩展性能和容量
运维需要重度参与数据管理和性能维护


方案优势
超高性能存储提高了计算资源的利用率
便于性能升级和容量扩展,减少运维管理成本
与云上无缝对接,数据冷热分层,降低成本



方案优势
部署方式灵活,支持混合云数据流转,架构弹性灵活
通过混合云 CPFS 存储和公共云 CPFS 的无缝对接,全方位满足不同业务部署需求,支持线下 CPFS 数据与云端 CPFS 等存储之间的数据自动流转,便于业务快速扩展和调整,也能充分利用云端计算资源,为业务带来更大的想象空间。


全分布式架构,满足业务高性能和高扩展性需求
通过元数据分布式存储管理、数据并行读写和定制客户端等设计,提供高带宽、高 IO和高扩展性的存储服务,支持 TB 级吞吐和百亿数量级文件管理能力,无需中断业务即可快速完成性能扩展,满足业务长期持续增长的需求。


接口协议丰富、统一命名空间和企业特性,业务无缝 对接
阿里云高性能存储支持 POSIX、SMB、NFS、Object 和 HDFS 等接口协议,统一文件命名空间(namespace),并支持数据分层、文件读写优化和双活等企业特性功能,可满足绝大多数业务系统快速对接,无需改造即可使用



应用场景


AI推理和训练场景

场景描述
将 CPFS 、NAS、OSS 和 ESSD 等多个存储产品组合与 GPU 云服务器、SCC、神龙 弹性裸金属等计算集群无缝对接。通过容器化部署服务实现资源弹性调度,提供超高吞吐和超高 IOPS 能力,支持混合云、线下和云上部署,快速构建AI基础环境。方案还发挥了云上和云下数据流转和生命周期管理等存储优势能力,满足快速高效计算和成本优化需求。
阿里云高性能存储在 AI 行业解决方案的优势
• 超高性能存储提高了计算资源的利用率
• 超强性能和容量扩展能力,减少运维管理成本
• 生命周期管理,与云上无缝对接,数据冷热分层,降低成本



影视渲染应用场景


场景描述
支持通过公共云 CPFS 或混合云 CPFS 存储对接线下 IDC 或云上搭建的渲染计算集群, 支持渲染计算集群通过多种协议读写存储系统,实现快速搭建渲染业务,并为渲染计算提供高吞吐、高并发和弹性扩容的能力,满足渲染业务快速扩容和简化日常运维工作。
阿里云高性能存储在影视渲染行业解决方案的优势
• 全分布式架构,超高吞吐和 IO 性能的存储提高了渲染计算效率
• CPFS 提供统一的命名空间,以一套存储对接海量的渲染计算节点
• 性能弹性扩展,与云端无缝对接,便于运维管理



工业仿真超算场景


场景介绍
支持仿真计算节点通过10G、25G、40G 或100G 高速网络与存储集群通信,满足与不同规格的客户端网络对接部署;CPFS 提供统一命名空间和定制客户端,满足计算节点高性能读写数据;提供日志实时监控和告警能力,支持性能在线弹性扩展,便于日常系统运维管理。
阿里云高性能存储在工业仿真超算场景的优势
•  高性能: 卓越的元数据管理、适配高性能计算的专业定制客户端、文件系统负载均衡读写
• 高可用:支持三副本和EC等冗余方式;具备快照、同步/异步复制、日志监控和数据修复能力,保证数据安全可靠
•  高可扩展性:全分布式架构,容量和性能弹性在线扩展,秒级故障检测和数据自动重建,便于运维管理和业务长期规划



最佳实践


某互联网直播企业
直播行业竞争日趋白热化,为实现差异化体验,该企业在内容审核和内容增强等业务中引入AI能力,借助阿里云计算和存储能力搭建AI训练平台,且结合使用OSS、NAS和CPFS,其中CPFS用作训练一级存储,为AI平台提供高性能存储,NAS和OSS作为二级存储存结果数据,整体上实现了分布式训练、数据分层存储和资源弹性伸缩,提升推理和训练效率。


某半导体研发企业
芯片仿真验证是芯片进入量产前的重要环节,该企业通过神龙 +CPFS 强强联合,解决传统自建 NAS 资源不能弹性伸缩、IO 及吞吐性能扩容难等问题,让存储成为 EDA 仿真计算的加速器,以优越的性能组合让仿真在短时间完成,把宝贵的市场竞争时间留给芯片设计环节,缩短产品上市周期。

推荐产品
文件存储 CPFS
针对高性能计算场景的性能要求深度优化,提供数据毫秒级访问和高 IOPS 读写能力,可用于 AI 训练、自动驾驶、基因、EDA 仿真、石油勘探、气象分析及渲染等场景。

弹性高性能计算 E-HPC
弹性高性能计算(E-HPC)基于阿里云基础设施,为用户提供一站式公共云 HPC / AI 平台服务,面向科研,生产,教育和行业大计算,提供快捷,弹性,安全和与阿里云产品互通的云超算平台。

对象存储 OSS
海量、安全、低成本、高可靠的云存储服务,提供99.9999999999%的数据可靠性。使用 RESTful API 可以在互联网任何位置存储和访问,容量和处理能力弹性扩展,多种存储类型供选择全面优化存储成本。

文件存储 NAS
广泛应用于容器存储、大数据分析、Web 服务和内容管理、应用程序开发和测试、媒体和娱乐工作流程、数据库备份。支持冷热数据分级存储。