XNews

NVIDIA、エージェント研究向けのオープンソースPyTorchネイティブRLフレームワーク「Molt」を公開

NVIDIA、エージェント研究向けのオープンソースPyTorchネイティブRLフレームワーク「Molt」を公開

NVIDIAは、Ray、vLLM、およびFSDP2を備えたNVIDIA AutoModel上に構築された、エージェント研究向けのオープンソースPyTorchネイティブ強化学習フレームワーク「Molt」を公開した。このフレームワークは、EnvまたはChatAgentインターフェース内のPython関数を通じて報酬を定義し、同じトレーニングスクリプトで8Bモデルから1TクラスのMoEまでスケールする。

イベントのバージョン 1.

Key insights

最小限の3コンポーネントスタック

Moltのスタック全体は、配置と非同期キューのためのRay、ロールアウトのためのvLLM、トレーニングのためのFSDP2を備えたNVIDIA AutoModelで構成されている。スタックは意図的に最小限であり、トレーニング可能なアクター1つとオプションのKL参照ワーカーを備える。

事前トレーニング済み報酬モデル不要のPython定義報酬

Moltの報酬は任意のPython関数であり、数学的グレーダー、LLM-as-judge、マルチターンツール評価器、VLM環境などを含む。ユーザーはEnvまたはChatAgentクラス内で「良い」とは何かを定義し、事前トレーニング済み報酬モデルは不要である。

2つのエージェントインターフェース

EnvインターフェースはGymnasiumスタイルで、フレームワークがLLMループを所有し、step()が報酬を返す。ChatAgentインターフェースはOpenAIまたはAnthropic SDKを介してループを提供するため、これらのAPIを話す外部ハーネスは変更なしで動作する。

8Bから1TクラスMoEへのスケーリング

8Bモデルをトレーニングする同じスクリプトが1TクラスMoEにスケールする。DeepSeek-V3クラスのアクターは、TP、EP、CP並列処理とAdam CPUオフロードを備えたep_size 256で実行され、スケール間で書き換えは不要である。

サポートされるアルゴリズム

MoltはREINFORCE、REINFORCEベースライン、RLOO、GRPO、DR-GRPO、GAE(PPO)、およびオンポリシー蒸留をサポートする。ロールアウト、トレーニング、重み同期は完全に非同期でオーバーラップする。

Source posts