NVIDIA通过GPU RDMA将DeepSeek-V4 Pro启动时间从8分钟缩短至2分钟以内

NVIDIA宣布,利用GPU到GPU的RDMA技术,通过最快路径将模型权重传输至GPU内存,成功将DeepSeek-V4 Pro的启动时间从8分钟缩短至2分钟以内。这一成果得益于NVIDIA Dynamo中的权重分发与缓存管理服务——NVIDIA ModelExpress(MX)。该方法同时加速了推理和强化学习后训练。MX重复使用内核缓存,推理工作节点通过NIXL直接从其他GPU获取更新后的权重,避免了集中式广播,并确保权重传输不占用关键路径。