GPU / TPU / 加速器 性能与市场争论

核心事件:围绕 NVIDIA GPU 与 Google TPU 的性能与市场护城河展开讨论与基准对比。· 有观点认为 CUDA 护城河并不深,优秀工程师即可在非 NVIDIA 平台上优化性能。 · 指出 Anthropic 等长期使用 TPU,TPU 并非新近采用。 · 硬件基准(Artificial Analysis)显示:在 30 token/秒参考速率下,H100 每百万 token 成本 $1.06;AMD MI300X $2.24;TPU v6e $5.13。 · 报道称 TPU v7 即将发布,但定价未知。 · NVIDIA 官方回应:祝贺 Google 进步,同时重申 GPU 在性能、多功能性与可互换性方面的领先,称 GPU 能运行所有模型并在各类计算环境部署;ASIC(如 TPU)虽高效但通用性不足。 · 讨论认为硬件优势受工程人才与 kernel/系统优化能力影响,市场格局仍受工程实现而非单一硬件决定。
Key insights
有人质疑 NVIDIA CUDA 的护城河深度
观点指出自 GPT 之前就有使用 TPU 的记录,且优秀工程师通过系统与 kernel 优化能在非 NVIDIA 平台上获得竞争性性能,因而认为 NVIDIA 的护城河并不牢固。该论点举例 Anthropic 等长期使用 TPU,强调工程与软件优化对最终性能的决定性影响,而非纯硬件架构差异。
基准显示 H100 在推理成本上明显领先
Artificial Analysis 的硬件基准以 30 token/秒为参考速率,结果显示 NVIDIA H100 每百万 token 成本约 $1.06,AMD MI300X 为 $2.24,TPU v6e 为 $5.13,表明在该测试下 GPU 在推理单位成本上具有显著优势。报告同时提及 TPU v7 即将发布,但未给出定价细节。
NVIDIA 强调 GPU 的通用性与生态优势
NVIDIA 官方在回应中对 Google 的进步表示祝贺,但重申 GPU 在性能、多功能性与可互换性上的领先优势。声明指出 GPU 能运行所有 AI 模型并在各类计算环境部署,而 ASIC(如 TPU)虽在特定任务更高效,但缺乏通用性与对模型/框架变更的适应能力。
硬件竞争亦受软件与工程能力制约
讨论强调硬件本身的性能差异往往被软件工程实现所放大或缩小,正确的 kernel 与系统工程人才能极大改善非原生硬件上的表现。市场竞争因此不仅是硬件架构之争,也是一场系统优化与工程能力的竞赛。