别让存储成为模型训练的关键瓶颈

如果说HPC的历史教会了我们什么的话，那就是不能以牺牲存储和网络为代价，过分关注计算。如果存储无法以良好的性能及时将数据传输到计算单元，那么即使你手握世界上最多的GPU，也无法将其转化为效率。

IT分析公司 Small World Big Data 的分析师 Mike Matchett 表示，有些模型足够小，可以在内存（RAM）中执行，从而将更多的注意力放在计算上。但如今像ChatGPT这样的大模型，需要数十亿个节点，无法保存在内存中，因为成本太高。

“你无法在内存中存放数十亿个节点，存储变得更加重要。”Matchett 说。

而在这些要素中，数据存储在规划过程中往往容易被忽视。

因为在创建和部署模型时，大多数的要求是迅速通过POC或测试环境，从而尽快开展模型训练，数据存储需求并不是优先考虑的。

然而，挑战在于训练或推理部署可能持续数月或数年时间。许多公司在这段时间里迅速扩大了模型规模，而基础设施也必须扩展以适应不断增长的模型和数据集。

谷歌此前公布的数百万ML训练工作负载的研究报告表明，工作负载平均花费30%的训练时间在输入数据的管道上。虽然过去的一些研究工作侧重于通过优化GPU来加速训练，但在优化数据管道的各个部分方面仍然面临许多挑战。

机器学习需要组织处理大量数据，而且数据量越大，模型的准确性相对也越高，这意味着企业每天必须收集和存储越来越多的数据。而当存储无法扩展时，数据密集型工作负载会产生瓶颈，这会限制性能并导致昂贵的GPU闲置。

灵活利用多种协议支持（包括NFS、SMB、HTTP、FTP、HDFS和S3），以确保满足不同系统的需求，而不仅仅是单一类型的环境。

I/O的延迟对于构建和使用模型很重要，因为数据会被多次读取和重读。减少I/O延迟可以将模型的训练时间缩短数天或数月。更快的模型开发直接转化为更大的业务优势。

当然，存储系统的吞吐量对于高效的模型训练也至关重要。训练过程使用大量数据，通常以每小时TB为单位。