SGLang集成NVFP4 KV缓存以提升长上下文效率

SGLang、Qwen和NVIDIA合作,在SGLang中实现了NVFP4 4位量化KV缓存,在1M上下文长度下解码吞吐量提升高达78%,并通过更高的缓存命中率在智能体工作负载中取得显著收益。两级缩放(E2M1、FP8块、FP32全局)提供了良好的精度,但SWE-bench显示下降了1.6个百分点。

SGLang、Qwen和NVIDIA合作,在SGLang中实现了NVFP4 4位量化KV缓存,在1M上下文长度下解码吞吐量提升高达78%,并通过更高的缓存命中率在智能体工作负载中取得显著收益。两级缩放(E2M1、FP8块、FP32全局)提供了良好的精度,但SWE-bench显示下降了1.6个百分点。