SGLang集成NVFP4 KV缓存以提升长上下文推理性能

SGLang、Qwen与NVIDIA合作,将NVIDIA的NVFP4格式集成到SGLang的KV缓存中,相比FP8实现了约1.78倍的容量压缩,且精度损失极小。在高前缀复用的代理型工作负载中,NVFP4通过使内存中容纳的并发请求数量翻倍,显著提升了高并发场景下的吞吐量。其关键创新在于采用两级缩放(4位数值配合块级FP8缩放),在4位量化下保持了精度。

SGLang、Qwen与NVIDIA合作,将NVIDIA的NVFP4格式集成到SGLang的KV缓存中,相比FP8实现了约1.78倍的容量压缩,且精度损失极小。在高前缀复用的代理型工作负载中,NVFP4通过使内存中容纳的并发请求数量翻倍,显著提升了高并发场景下的吞吐量。其关键创新在于采用两级缩放(4位数值配合块级FP8缩放),在4位量化下保持了精度。