SGLang、NVFP4 KVキャッシュを統合し長文脈推論を高速化

SGLang、Qwen、NVIDIAは協力し、NVIDIAのNVFP4フォーマットをSGLangのKVキャッシュに統合しました。これにより、FP8比で約1.78倍の容量圧縮を、精度低下を最小限に抑えつつ実現しました。プレフィックスの再利用が多いエージェント型ワークロードでは、NVFP4によりメモリに収まる同時リクエスト数が2倍になるため、高同時実行時におけるスループットが大幅に向上します。主要な革新点は、4ビット値とブロック単位のFP8スケーリングによる2段階スケーリングを用いて、4ビット量子化でも精度を維持する点です。