XNews

NVIDIA 发布 Molt:面向智能体研究的开源 PyTorch 原生强化学习框架

NVIDIA 发布 Molt:面向智能体研究的开源 PyTorch 原生强化学习框架

NVIDIA 发布了 Molt,这是一个面向智能体研究的开源 PyTorch 原生强化学习框架,基于 Ray、vLLM 和 NVIDIA AutoModel(配合 FSDP2)构建。该框架通过 Env 或 ChatAgent 接口中的 Python 函数定义奖励,并使用同一训练脚本从 8B 模型扩展到 1T 级 MoE。

事件版本 1.

Key insights

极简三组件栈

Molt 的整个技术栈由 Ray(负责放置和异步队列)、vLLM(负责 rollout)以及 NVIDIA AutoModel 配合 FSDP2(负责训练)组成。该技术栈有意保持极简,仅包含一个可训练 actor 和可选的 KL 参考 worker。

无需预训练奖励模型的 Python 定义奖励

Molt 中的奖励可以是任意 Python 函数,包括数学评分器、LLM 作为评判者、多轮工具评估器和 VLM 环境。用户在 Env 或 ChatAgent 类中定义“好”的含义,无需预训练奖励模型。

两种智能体接口

Env 接口采用 Gymnasium 风格,由框架掌控 LLM 循环,step() 返回奖励。ChatAgent 接口通过 OpenAI 或 Anthropic SDK 提供循环,因此使用这些 API 的外部 harness 无需修改即可工作。

从 8B 扩展到 1T 级 MoE

训练 8B 模型的同一脚本可扩展到 1T 级 MoE。DeepSeek-V3 级 actor 以 ep_size 256 运行,采用 TP、EP 和 CP 并行以及 Adam CPU offload,不同规模之间无需重写。

支持的算法

Molt 支持 REINFORCE、REINFORCE baseline、RLOO、GRPO、DR-GRPO、GAE (PPO) 和 on-policy distillation。Rollout、训练和权重同步完全异步重叠。

Source posts