NVIDIA 发布 Molt:面向智能体研究的开源 PyTorch 原生强化学习框架

NVIDIA 发布了 Molt,这是一个面向智能体研究的开源 PyTorch 原生强化学习框架,基于 Ray、vLLM 和 NVIDIA AutoModel(配合 FSDP2)构建。该框架通过 Env 或 ChatAgent 接口中的 Python 函数定义奖励,并使用同一训练脚本从 8B 模型扩展到 1T 级 MoE。
事件版本 1.
Key insights
极简三组件栈
Molt 的整个技术栈由 Ray(负责放置和异步队列)、vLLM(负责 rollout)以及 NVIDIA AutoModel 配合 FSDP2(负责训练)组成。该技术栈有意保持极简,仅包含一个可训练 actor 和可选的 KL 参考 worker。
无需预训练奖励模型的 Python 定义奖励
Molt 中的奖励可以是任意 Python 函数,包括数学评分器、LLM 作为评判者、多轮工具评估器和 VLM 环境。用户在 Env 或 ChatAgent 类中定义“好”的含义,无需预训练奖励模型。
两种智能体接口
Env 接口采用 Gymnasium 风格,由框架掌控 LLM 循环,step() 返回奖励。ChatAgent 接口通过 OpenAI 或 Anthropic SDK 提供循环,因此使用这些 API 的外部 harness 无需修改即可工作。
从 8B 扩展到 1T 级 MoE
训练 8B 模型的同一脚本可扩展到 1T 级 MoE。DeepSeek-V3 级 actor 以 ep_size 256 运行,采用 TP、EP 和 CP 并行以及 Adam CPU offload,不同规模之间无需重写。
支持的算法
Molt 支持 REINFORCE、REINFORCE baseline、RLOO、GRPO、DR-GRPO、GAE (PPO) 和 on-policy distillation。Rollout、训练和权重同步完全异步重叠。