XNews

NVIDIA NIM最適化によりNemotronモデルの同時ユーザー数が2.78倍に向上

NVIDIA NIM最適化によりNemotronモデルの同時ユーザー数が2.78倍に向上

NVIDIAは、NIMマイクロサービススタックが4基のB200ハードウェア上でNemotron 3 Ultra 550Bモデルを最適化し、レイテンシSLOを維持しながら同時ユーザー数を2.78倍に増加させたことを実証した。この「フルスタック」最適化には、NVFP4量子化、MoE/Mamba対応カーネルチューニング、プレフィックスキャッシング、マルチトークン予測投機的復号が含まれており、これらの最適化は相互依存的であり、独立して適用しても累積的な利得が得られないという重要な知見が示された。

Source posts