XNews

NVIDIA利用GPU到GPU的RDMA技术将DeepSeek-V4 Pro启动时间从8分钟缩短至2分钟以内

NVIDIA利用GPU到GPU的RDMA技术将DeepSeek-V4 Pro启动时间从8分钟缩短至2分钟以内

NVIDIA采用NVIDIA ModelExpress (MX)和NVIDIA Dynamo,通过NIXL上的GPU到GPU RDMA分发DeepSeek-V4 Pro模型权重,将启动时间从8分钟缩短至2分钟以内。同样的方法加速了推理和强化学习后训练。MX重用内核缓存,同时推理工作节点直接从其他GPU获取更新后的权重,避免了集中广播,并将权重移动排除在关键路径之外。

Source posts