Infortrend View in a browser
为AI大模型提供强劲动力
 
随着科技的飞速发展,人工智能(AI)与机器人学习(ML)已经逐渐成为引领未来的核心技术。近期火爆市场的Chat GPT AI大模型深度结合AI与机器人学习技术,实现人机交流、学术研究、内容创作等应用,国内行业巨头百度、腾讯、阿里、抖音等企业,近期也纷纷推出新一代大模型应用。随着AI大模型应用深入发展,已渗透至各行业应用场景中,尤其科研大模型种类更是层出不穷。
 
AI大模型硬件架构包括算力与存力,算力跑得快存力要跟上,两驾马车齐头并进、相互配合,成为影响大模型训练推理效率的关键因素。算力指前端服务器GPU计算,存力除了要求后端存储设备具有海量的存储空间,也要求存储设备提供高效数据读写性能,以提升算力利用率。Infortrend普安科技HPC高性能解决方案,具有高性能、低延迟、高可用和高扩展等优点,能够满足大规模高速数据读写及数据安全需求。
 
AI大模型训练需要高并发时,通过并行文件系统集群,能提供更高的性能及更多的容量空间。GS支持主流并行文件存储系统集群,单节点(24颗NVMe SSD)提供70GB/s读性能, 节点增加性能成倍增长,15个节点可达1TB/s的读,确保了数据的高速传输,这对于复杂大模型训练来说至关重要,能够加快数据的处理速度,大幅提升大模型训练效率。另外,大模型数据通常是图片、文档等小文件,GS针对海量小文件元数据采用 SSD卷缓存来进一步优化处理速度。
 
据统计大模型训练数据已达10亿参数规模,需要大量的存储空间存储数据,GS支持横向纵向扩展,通过并行文件系统集群容量可达1EB,并将数据保存在单个命名空间下的同一目录中,分析人员可以在不更改设置的情况下继续工作。
 
Infortrend 高性能计算方案作为大模型应用中不可或缺的“存力”基石,为AI与ML等高性能计算应用提供快速的数据响应,海量的空间及数据安全保障,成为推动大模型科技创新的重要力量。
 
 

应用案例

Infortrend并行系统高性能计算方案助力多个科研项目取得了显著成果。成功地提高运算分析效率,加速AI算法训练过程。

印度国家级实验室
 
 
南京理工大学
 
 
广州工业大学
 
 
台湾中央研究院
 
 

方案优势

高性能
通过并行文件系统集群能够提供高达1TB/s的吞吐量,满足大规模数据处理的需要
高可用
双冗余设计,确保业务的连续运行、两个控制器同时运行性能加倍
高扩展
支持节点扩展,按需增加存储资源,最大支持1EB存储空间
高可靠
通过RAID、本地复制、远程复制、文件备份等功能,完整地保护与备份数据
 
 

查看更多解决方案


高性能计算
高性能计算
云集成
云集成
桌面虚拟化
桌面虚拟化
数据库
数据库
虚拟化
虚拟化
备份与灾难恢复
备份与灾难恢复
Docker应用
Docker应用
HA存储双活
HA存储双活

关注微信公众号
获取产品资讯及应用案例

 

©2024 Infortrend Technology, Inc. https://www.infortrend.com

Weibo LinkedIn YOUKU