XNews

NVIDIAがMoEモデルを解説:30Bパラメーター中、トークンごとに3Bが活性化

NVIDIAがMoEモデルを解説:30Bパラメーター中、トークンごとに3Bが活性化

NVIDIAは、混合エキスパート(MoE)モデルがトークンごとに30Bのパラメーターのうちわずか3Bのみを活性化させる仕組みと、スループット、メモリ、およびサービングの複雑さへの影響を詳述した技術解説を公開した。

Source posts