SGLangがNVFP4 KVキャッシュを統合し、長文脈効率を向上

SGLang、Qwen、NVIDIAは協力してSGLangにNVFP4 4ビット量子化KVキャッシュを実装し、1Mコンテキストで最大78%のデコードスループット向上と、より高いキャッシュヒット率によるエージェント型ワークロードでの大幅な改善を達成した。2レベルのスケーリング(E2M1、FP8ブロック、FP32グローバル)は良好な精度を提供するが、SWE-benchでは1.6ポイントの低下が見られる。

SGLang、Qwen、NVIDIAは協力してSGLangにNVFP4 4ビット量子化KVキャッシュを実装し、1Mコンテキストで最大78%のデコードスループット向上と、より高いキャッシュヒット率によるエージェント型ワークロードでの大幅な改善を達成した。2レベルのスケーリング(E2M1、FP8ブロック、FP32グローバル)は良好な精度を提供するが、SWE-benchでは1.6ポイントの低下が見られる。