XiaomiとNVIDIA、KVキャッシュとNVFP4による効率的な推論で提携

SGLang、Qwen、NVIDIAはSGLangにNVFP4 KVキャッシュを実装し、FP8と比較して1.78倍のメモリ圧縮を最小限の精度損失で達成した。エージェントワークロードでは、NVFP4により高い同時実行性とキャッシュヒット率が可能となり、1Mコンテキストでのデコードスループットが最大78%向上する。XiaomiのMiMo-V2.6モデルもコスト効率の高い推論を提供する。
Key insights
NVFP4 KVキャッシュ:2段階スケーリングによる4ビット量子化
NVIDIAのNVFP4フォーマットは2段階スケーリングを採用している。16値ごとにFP8ブロックスケーリングとFP32グローバルスケーリングを組み合わせた4ビットE2M1値である。これにより、FP8メモリ使用量の56.25%(1.78倍の圧縮)を実現する。SGLangは3つのアテンションパスを実装している。初期プリフィルではBF16 Q×FP8 K/Vを使用し、チャンク化プリフィルではNVFP4に量子化し、デコードではNVIDIAのcvt.rn.bf16x2.e2m1x2命令を用いてオンザフライ逆量子化でNVFP4を直接読み取る。
パフォーマンス向上:デコードスループットが最大78%改善
Qwen3.8-27Bを搭載した単一のRTX PRO 6000 Blackwell上で、NVFP4は同じ同時実行性でデコードスループットが26~30%向上した。同じメモリ容量では、32Kコンテキストで同時実行性が44から70に増加(スループット37%向上)、1Mコンテキストでは1から2に増加(78%向上)した。プリフィルTTFTは同じ同時実行性でわずか0.2~0.4%の増加にとどまる。エージェントワークロードは、KV読み取りの削減とキャッシュヒット率の向上という二重の恩恵を受ける。
精度:タスク依存だが損失は最小限
Qwen3.5-397B-A17Bでは、精度はFP8とほぼ同一で、GSM8Kは0.08ポイント低下、GPQAとAIMEは変化なし。Qwen3.8-27Bでは、GSM8Kは0.31ポイント低下、GPQAは1.01ポイント低下したが、SWE-bench Verifiedは1.60ポイント低下(76.20%対77.80%)した。著者らは、長い軌跡を持つエージェントタスクはKV量子化に対してより敏感であると指摘している。FP32グローバルスケーリングは較正されておらず、さらなる改善の可能性があることを示唆している。
MiMo-V2.6:コスト効率の高いオープンソースモデル
XiaomiのMiMo-V2.6 ProおよびFlashモデルは、低コストで競争力のあるパフォーマンスを提供する。ProはArtificial Analysisで46点を獲得し、xAI Grok 4.7に匹敵し、API価格は100万トークンあたり0.435ドル/0.87ドルである。Flashはさらに安価で0.14ドル/0.28ドルであり、エージェントベンチマークでは数ポイント低いだけである。両モデルともMITライセンスの下で100万トークンのコンテキストとマルチモーダル入力をサポートしている。