NVIDIA与SGLang借助NVFP4和NIM推进推理优化

NVIDIA与SGLang详细介绍了主要的推理优化。用于KV缓存的NVFP4 4位浮点格式相比FP8将内存占用减少了1.78倍,且精度损失可忽略不计,显著提升了长上下文和智能体工作负载的吞吐量。NVIDIA的NIM堆栈优化了Nemotron 3 Ultra,使其能够服务2.78倍以上的并发用户。
Key insights
NVFP4 KV缓存:精度与性能
NVIDIA与SGLang将NVFP4格式集成到SGLang的KV缓存中。NVFP4采用两级缩放方案(4位E2M1值 + FP8块缩放),相比FP8实现了1.78倍的内存减少,且精度损失极小。测试中,Qwen3.5-397B几乎未显示性能下降。解码内核直接读取NVFP4,即时转换以避免内存往返,使其非常适合内存受限的解码阶段。
NIM对Nemotron的全栈优化
NVIDIA利用其NIM微服务在4x B200系统上优化了Nemotron 3 Ultra(550B-A55B MoE+Mamba模型)。通过NVFP4量化、专家并行执行、前缀缓存、Mamba状态缓存和MTP推测解码的组合,系统吞吐量从718 tok/s提升至1,997 tok/s。这使得相同硬件在50 tok/s的交互目标下能够服务2.78倍以上的并发用户。
对智能体工作负载的影响
这两项优化对智能体工作负载显示出巨大的益处。NVFP4的内存节省允许基数树保留更多共享前缀(系统提示、工具定义),大幅提高缓存命中率并避免昂贵的重新计算。在AgentX基准测试中,NVFP4在高并发下保持了吞吐量,而FP8则崩溃。NIM的优化专门针对具有高KV复用率的'长输入、短输出'智能体工作负载进行了分析。