NVIDIAとSGLang、NVFP4とNIMによる推論最適化を推進

NVIDIAとSGLangは、主要な推論最適化について詳述した。KVキャッシュ向けの4ビット浮動小数点形式NVFP4は、FP8と比較してメモリフットプリントを1.78倍削減し、精度の低下は無視できる程度で、長文脈およびエージェント型ワークロードのスループットを大幅に向上させる。NVIDIAのNIMスタックは、Nemotron 3 Ultraを最適化し、同時ユーザー数を2.78倍増加させた。
Key insights
NVFP4 KVキャッシュ:精度とパフォーマンス
NVIDIAとSGLangは、NVFP4形式をSGLangのKVキャッシュに統合した。NVFP4は2段階のスケーリング方式(4ビットE2M1値+FP8ブロックスケーリング)を採用し、FP8と比較して1.78倍のメモリ削減を最小限の精度低下で実現する。テストでは、Qwen3.5-397Bでほとんど劣化が見られなかった。デコードカーネルはNVFP4を直接読み取り、オンザフライで変換することでメモリの往復を回避し、メモリ律速のデコードフェーズに最適である。
Nemotron向けNIMフルスタック最適化
NVIDIAは、NIMマイクロサービスを活用して、4台のB200システム上でNemotron 3 Ultra(550B-A55B MoE+Mambaモデル)を最適化した。NVFP4量子化、エキスパート並列実行、プレフィックスキャッシング、Mamba状態キャッシング、MTP投機的デコードの組み合わせにより、システムスループットは718トークン/秒から1,997トークン/秒に向上した。これにより、同じハードウェアで50トークン/秒のインタラクティブ目標において、同時ユーザー数を2.78倍増加させることができる。
エージェント型ワークロードへの影響
両方の最適化は、エージェント型ワークロードに対して特に大きなメリットを示している。NVFP4のメモリ節約により、基数木(radix tree)はより多くの共有プレフィックス(システムプロンプト、ツール定義)を保持でき、キャッシュヒット率が大幅に向上し、高コストな再計算を回避できる。AgentXベンチマークでは、NVFP4はFP8が性能低下した高同時実行環境でもスループットを維持した。NIMの最適化は、特にKV再利用の多い「長入力・短出力」のエージェント型ワークロードでプロファイリングされた。