小米与NVIDIA合作,利用KV Cache和NVFP4实现高效推理

SGLang、Qwen和NVIDIA在SGLang中实现了NVFP4 KV Cache,与FP8相比实现了1.78倍的内存压缩,同时精度损失极小。在智能体工作负载中,NVFP4支持更高的并发性和缓存命中率,对于1M上下文,解码吞吐量提升高达78%。小米的MiMo-V2.6模型也提供了高性价比的推理服务。
Key insights
NVFP4 KV缓存:4位量化与两级缩放
NVIDIA的NVFP4格式采用两级缩放:4位E2M1值,每16个值使用FP8块缩放,并采用FP32全局缩放。这实现了FP8内存占用的56.25%(1.78倍压缩)。SGLang实现了三种注意力路径:初始预填充使用BF16 Q乘以FP8 K/V,分块预填充量化为NVFP4,解码阶段直接读取NVFP4,并使用NVIDIA的cvt.rn.bf16x2.e2m1x2指令进行即时反量化。
性能提升:解码吞吐量最高提升78%
在搭载Qwen3.8-27B的单块RTX PRO 6000 Blackwell上,NVFP4在相同并发度下实现了26-30%的解码吞吐量提升。在相同内存容量下,对于32K上下文,并发度从44增加到70(吞吐量提升37%);对于1M上下文,并发度从1增加到2(提升78%)。在相同并发度下,预填充TTFT仅增加0.2-0.4%。智能体工作负载受益于KV读取减少和更高的缓存命中率,获得双重提升。
精度:损失极小但具有任务依赖性
在Qwen3.5-397B-A17B上,精度与FP8几乎相同:GSM8K下降0.08个百分点,GPQA和AIME保持不变。在Qwen3.8-27B上,GSM8K下降0.31个百分点,GPQA下降1.01个百分点,但SWE-bench Verified下降1.60个百分点(76.20%对77.80%)。作者指出,具有长轨迹的智能体任务对KV量化更为敏感。FP32全局缩放未经过校准,这表明还有进一步改进的潜力。
MiMo-V2.6:高性价比的开源模型
小米的MiMo-V2.6 Pro和Flash模型以低成本提供了具有竞争力的性能。Pro在Artificial Analysis上得分为46,与xAI Grok 4.7相当,API定价为每百万token 0.435美元/0.87美元。Flash的价格更低,为0.14美元/0.28美元,在智能体基准测试中仅低几分。两者均支持100万token上下文和多模态输入,并采用MIT许可证。