XNews

SGLang、Qwen、NVIDIAがNVFP4 KVキャッシュを導入しメモリ削減とデコード高速化を実現

SGLang、Qwen、NVIDIAがNVFP4 KVキャッシュを導入しメモリ削減とデコード高速化を実現

SGLangはNVIDIAのNVFP4 4ビットKVキャッシュ量子化を統合し、2段階スケーリングによりFP8の約56%のフットプリントを達成。パフォーマンスの向上はコンテキスト長に応じて拡大し、100万トークンで最大約80%のピークデコードスループットを実現。エージェント型ワークロードは高い基数キャッシュヒットの恩恵を受ける。

Source posts