去年底,ChatGPT的一夜爆火,让“大模型”这一概念正式“出圈”。随后半年余,国内外科技企业、初创团队等纷纷加入大模型赛道,争相竞逐牌桌话语权。有机构预测,以大语言模型为代表的人工智能技术不仅将在全球掀起科技创新浪潮,还将彻底重塑千行百业。
然而,在此过程中,算力、数据和算法成为了它们发展大模型路上的“绊脚石”。
尤其是数据,由于大模型参数规模大、信息来源分散等因素,导致训练难度陡增、成本居高不下,令不少企业“望模生叹”。有业内人士甚至指出,AI大模型在发展和实施过程中所面临的核心难题,几乎都与数据有关,比如数据质量低,数据存在断点、难以接续等等。
如何解决企业在发展大模型过程中,遇到的数据痛点问题?
7月14日,华为针对不同行业、不同场景下的基础模型训练、行业模型训练两种细分场景,推出两款大模型时代AI存储新品,分别是OceanStor A310深度学习数据湖存储,以及FusionCube A3000训/推超融合一体机。
它们将能解决大模型在训练或推理过程中,可能出现的数据归集慢,训练集加载效率低,资源调度难,训练平台不稳定等难题,让大模型“人人可造”。这是如何实现的?
据介绍,OceanStor A310深度学习数据湖存储,面向基础/行业大模型数据湖场景,能实现从数据归集、预处理到模型训练、推理应用的AI全流程海量数据管理。其单框5U支持业界最高的400GB/s带宽以及1200万IOPS的最高性能,可线性扩展至4096节点,实现多协议无损互通。全局文件系统GFS实现跨地域智能数据编织,简化数据归集流程;通过近存计算实现近数据预处理,减少数据搬移,预处理效率提升30 %。
FusionCube A3000训/推超融合一体机,则面向行业大模型训练/推理场景,针对百亿级模型应用,集成OceanStor A300高性能存储节点、训/推节点、交换设备、AI平台软件与管理运维软件,为大模型伙伴提供拎包入住式的部署体验,实现一站式交付。开箱即用,2小时内即可完成部署。训/推节点与存储节点均可独立水平扩展,以匹配不同规模的模型需求。
同时,FusionCube A3000通过高性能容器实现多个模型训练推理任务共享GPU,将资源利用率从40%提升到70%以上。FusionCube A3000支持两种灵活的商业模式,包括华为昇腾一站式方案,以及开放计算、网络、AI平台软件的第三方伙伴一站式方案。
华为数据存储产品线总裁周跃峰表示:“大模型时代,数据决定AI智能的高度。作为数据的载体,数据存储成为AI大模型的关键基础设施。华为数据存储未来将持续创新,面向AI大模型时代提供多样化的方案与产品,携手伙伴共同推进AI赋能千行百业。”
南方+记者 许隽
订阅后可查看全文(剩余80%)