Hugging Face在旧金山GitHub办公室举办Training Agents线下活动

Hugging Face在GitHub旧金山办公室举办了Training Agents系列的线下闭幕活动,包括四场演讲、一场小组讨论和观众问答,历时近两小时,主题是使用开放模型训练后智能体。来自Microsoft、Mercor、RadixArk和BenchFlow的演讲者涵盖了企业强化学习、行业环境与基准测试、使用Miles训练智能体以及OpenEnv Arena。完整录像和幻灯片已发布。
事件版本 1.
Key insights
企业强化学习的优先事项
工业、制造和能源领域的大型企业根据延迟、准确性和可控的训练后风险等业务指标进行采购。他们关心包括工具、数据、网络、测试框架和实际耗时在内的全链条,而非单一模型,真实智能体通常连接数十到数百个工具。
训练环境与评估环境
训练环境提供奖励,而评估环境提供对部署稳定性和预测能力的测量。智能体应作为模型加测试框架加运维来评估,而非仅看模型分数,基准测试应作为长期产品来维护。
使用Miles的异步智能体强化学习
Miles将多步环境轨迹视为训练样本,并连接到OpenEnv的reset和step接口。在一个使用64块B300芯片(推理和训练各占一半)、完全异步、每个回合使用新沙箱的大型MoE在Terminal Bench 2上的案例中,经过约100步后,奖励从约0.44上升到0.56。
OpenEnv Arena环境筛选
OpenEnv Arena筛选可训练环境。在约90,000个可找到的强化学习环境中,层层过滤后剩下约800个相对干净的环境,而约1%的作弊任务可能污染整个后续训练轮次。
讨论中提到的采用障碍
提到的障碍包括缺乏经过审查的开放环境、企业模型疲劳、结果压力以及被编码智能体消耗的预算,以及大模型API时代后数据和MLOps能力的萎缩。