Meta、オハイオ州のギガワット級スーパークラスター「Prometheus」の第1フェーズを完了

Metaは、オハイオ州ニューオールバニーにあるギガワット級スーパークラスター「Prometheus」の第1フェーズを完了し、Muse Wonderを含むMuse基盤モデルのトレーニングに使用した。このスーパークラスターは相互接続された複数の建物にまたがる数十万基のGPUで構成され、約100万基のGPUに向けて拡張が進められている。Metaは、事前トレーニングで85%超、強化学習で90%超のグッドプットを報告し、Muse Wonderのトレーニング中における中断間の平均時間は約47,000GPU時間であったと発表した。
イベントのバージョン 1.
Key insights
第1フェーズ完了
Metaのオハイオ州ニューオールバニーにあるギガワット級スーパークラスター「Prometheus」の第1フェーズが完了した。これはMuse Wonderを含むMuse基盤モデルのトレーニングに使用された。
規模とアーキテクチャ
Prometheusは、単一のマシンとして機能する相互接続された複数の建物にまたがる数十万基のGPUで構成されている。フルスケールでは約100万基の分散GPUで構成される予定である。
耐障害性の指標
Metaは、Muse Wonderの事前トレーニング実行で85%超、強化学習実行で90%超のグッドプットを達成した。中断間の実時間平均は約47,000GPU時間で、その後ファームウェアの修正により54,000GPU時間超に引き上げられた。
ハードウェア世代
Prometheusは現在2つのNVIDIA GPUプラットフォームを導入しており、NVIDIAのVera Rubin NVL72に基づく第3のプラットフォームがまもなく導入される。これらのプラットフォームは、72基のGPUが単一のアクセラレータとして機能するNVL72ラックアーキテクチャを採用している。
冷却とサイト転換
Prometheusは効率的に運用するため閉ループ液冷を備えている。ニューオールバニーサイトは、フロンティアモデルのトレーニング用に改修される2年前までは、Webトラフィックを処理する従来のデータセンターであった。