Meta完成俄亥俄州Prometheus吉瓦级超级集群第一阶段建设

Meta已完成其位于俄亥俄州新奥尔巴尼的吉瓦级超级集群Prometheus的第一阶段建设,并将其用于训练包括Muse Wonder在内的Muse基础模型。该超级集群横跨多栋互联建筑,包含数十万块GPU,并正朝着约100万块GPU的规模扩展。Meta报告称,预训练的有效吞吐率超过85%,强化学习超过90%,在Muse Wonder训练期间平均无中断运行时间约为47,000 GPU小时。
事件版本 1.
Key insights
第一阶段完成
Meta位于俄亥俄州新奥尔巴尼的吉瓦级超级集群Prometheus的第一阶段建设已完成。该集群被用于训练Muse基础模型,包括Muse Wonder。
规模与架构
Prometheus由分布在多栋互联建筑中的数十万块GPU组成,这些建筑作为一台单一机器运行。在满规模时,它将包含约100万块分布式GPU。
韧性指标
Meta在Muse Wonder的预训练运行中实现了超过85%的有效吞吐率,在强化学习运行中超过90%。整体墙钟平均无中断运行时间约为47,000 GPU小时,后通过固件修复提升至超过54,000 GPU小时。
硬件代际
Prometheus目前部署了两个NVIDIA GPU平台,第三个基于NVIDIA Vera Rubin NVL72的平台即将到来。这些平台采用NVL72机架架构,其中72块GPU作为单一加速器运行。
冷却与站点改造
Prometheus采用闭环液冷以高效运行。新奥尔巴尼站点在两年前还是一个运行网络流量的传统数据中心,之后被改造用于前沿模型训练。