XNews

NVIDIA、NIMマイクロサービスでNemotron 3 Ultraを最適化

NVIDIA、NIMマイクロサービスでNemotron 3 Ultraを最適化

NVIDIAは、フルスタックのNIMマイクロサービス最適化により、4xB200システム上でNemotron 3 Ultraのスループットが毎秒718トークンから1,997トークンに向上し、同時ユーザー数を2.5倍処理できるようになったことを詳述しました。この最適化には、NVFP4量子化、プレフィックスキャッシング、エージェントワークロード向けの投機的デコーディングなどの技術が含まれています。

Key insights

NIM最適化によりユーザー容量が2.5倍に増加

NVIDIAの4x B200システムでのフルスタックNIM最適化により、Nemotron 3 Ultraのシステムスループットが毎秒718トークンから1,997トークンに向上しました。ユーザーあたり毎秒50トークンの固定レイテンシSLOのもとでは、同じハードウェアで約2.78倍の同時ユーザー数を処理できますが、NVIDIAは公式には2.5倍の改善と発表しています。

5層の最適化戦略の詳細

最適化には5つの主要な層が関与しています。1) MoE+Mambaハイブリッドアーキテクチャ向けの自動チューニングカーネルを用いたNVFP4量子化。2) テンソル並列処理(TP=4)を用いた並列戦略。3) 長いコンテキスト向けのプレフィックスキャッシングと状態再利用。4) メモリ管理のためのスケジューラとバッチサイズの調整。5) フラグで有効化されるマルチトークン予測(MTP)による投機的デコーディングで、受容率に応じて追加の利得が得られます。

エージェントワークロード向けの最適化パラダイム

この投稿では、これがエージェント時代の新たな最適化パラダイムを表すと分析しています。エージェントワークロードは、長い入力と短い出力、高いプレフィックス再利用を特徴とし、プレフィックスキャッシングや投機的デコーディングなどの技術が従来のチャットボットシナリオよりも効果的です。分析では、これらの最適化は単純な加算ではなく、相互依存的であることを強調しています。

NVIDIAは垂直統合を競争優位性として強調

NVFP4ネイティブ量子化、Blackwellハードウェア、自動チューニングカーネルの組み合わせは、NVIDIAのソフトウェア・ハードウェア共同設計戦略を示しています。この垂直統合により、純粋なソフトウェアソリューションでは再現が難しい性能向上がもたらされ、AI推論におけるNVIDIAの競争優位性となっています。

Source posts