XNews

AI硬件基准与厂商回应

AI硬件基准与厂商回应

硬件基准对比显示NVIDIA在推理成本上领先,TPU v6e与AMD MI300X成本更高。• 在30 token/秒参考速率下,NVIDIA H100每百万token成本$1.06(14661)。• AMD MI300X每百万token成本$2.24(14661)。• Google TPU v6e每百万token成本$5.13(14661)。• 报告称NVIDIA每美元token数量是TPU v6e的5倍、AMD的2倍(14661)。• TPU v7即将发布,性能有望显著提升但定价未知(14661)。• NVIDIA官方回应称赞Google AI进步,同时重申GPU平台在性能、多功能性与可互换性上的行业领先优势,并强调GPU通用性相较ASIC优势(14610)。• 指向完整基准页面以查看不同模型(如Llama 3.3 70B)在TPU v6e上的结果(14655)。

Key insights

基准显示H100在推理成本上领先

Artificial Analysis的硬件基准在30 token/秒参考速率下得出:NVIDIA H100每百万token成本为$1.06,AMD MI300X为$2.24,Google TPU v6e为$5.13。基准同时指出英伟达每美元token数量相对于TPU v6e是5倍、相对于AMD是2倍,表明在该参考速率和测试条件下H100的推理成本最低。

NVIDIA回应:赞同竞争进步并强调GPU通用性优势

NVIDIA官方对Google的进展表达祝贺,同时重申其GPU平台在性能、通用性与可互换性方面的领先地位。NVIDIA强调GPU能运行各种模型并部署在多种计算环境,而ASIC(如TPU)尽管高效但针对性强、在多样模型与快速演化的环境中灵活性较低。

TPU v7即将发布,可能改变性能格局

基准报道提及TPU v7即将发布并将带来性能大跃进,但目前尚无公开定价信息;基准结果同时提醒用户在选择硬件时需关注后续新一代ASIC的发布与定价变化。

Source posts