XNews

AIハードウェアベンチマークとメーカーの反応

AIハードウェアベンチマークとメーカーの反応

ハードウェアベンチマークの比較により、NVIDIAが推論コストでリードしており、TPU v6eとAMD MI300Xはコストが高いことが示されています。• 30トークン/秒の参照速度で、NVIDIA H100の百万トークンあたりのコストは$1.06(14661)。• AMD MI300Xの百万トークンあたりのコストは$2.24(14661)。• Google TPU v6eの百万トークンあたりのコストは$5.13(14661)。• レポートによると、NVIDIAの百万トークンあたりのコストはTPU v6eの5倍、AMDの2倍である(14661)。• TPU v7が近日中に発売される予定で、性能が大幅に向上することが期待されているが、価格は不明である(14661)。• NVIDIAの公式コメントは、GoogleのAIの進展を称賛しつつ、GPUプラットフォームが性能、多機能性、互換性において業界のリーダーであることを再確認し、ASICに対するGPUの汎用性の利点を強調している(14610)。• 完全なベンチマークページを指し、TPU v6e上の異なるモデル(Llama 3.3 70Bなど)の結果を確認することができる(14655)。

Key insights

ベンチマークはH100が推論コストでリードしていることを示す

Artificial Analysisのハードウェアベンチマークは、30トークン/秒の参照速度で、NVIDIA H100の百万トークンあたりのコストが$1.06、AMD MI300Xが$2.24、Google TPU v6eが$5.13であることを示しています。ベンチマークはまた、NVIDIAがTPU v6eに対しては5倍、AMDに対しては2倍の百万トークンあたりのコストを持つことを指摘しており、この参照速度とテスト条件下でH100の推論コストが最も低いことを示しています。

NVIDIAの反応:競争の進展を称賛し、GPUの汎用性の利点を強調

NVIDIAはGoogleの進展を祝福し、同時に自社のGPUプラットフォームが性能、汎用性、互換性の面でのリーダーであることを再確認しました。NVIDIAは、GPUがさまざまなモデルを実行し、さまざまな計算環境に展開できる一方で、ASIC(TPUなど)は効率的であるものの特化型であり、多様なモデルや急速に進化する環境において柔軟性が低いことを強調しています。

TPU v7が近日中に発売、性能の変革が期待される

ベンチマークレポートはTPU v7が近日中に発売されることを言及しており、性能の大幅な向上が期待されているが、現在のところ公開された価格情報はないとしています。また、ベンチマーク結果は、ハードウェアを選択する際に次世代ASICの発売と価格変動に注意を払う必要があることをユーザーに示唆しています。

Source posts