XNews

谷歌拆分第八代TPU为训练(8t)与推理(8i)专用芯片,性能提升3倍

谷歌拆分第八代TPU为训练(8t)与推理(8i)专用芯片,性能提升3倍

谷歌第八代TPU拆分为两款专用芯片:用于训练的TPU 8t和用于推理的TPU 8i。这一拆分应对了不同需求:训练需要海量数据吞吐量,而推理要求低延迟。在智能体时代,多步推理任务加剧了对延迟的敏感性。TPU 8t针对万亿参数模型预训练,配备9600颗芯片,可实现121百亿亿次浮点运算、2 PB共享内存,峰值性能较上一代提升3倍。TPU 8i则处理训练后优化与实时推理,将通信密集型工作负载的延迟减半。

Source posts