XNews

JoMoHa框架通过强化学习联合训练执行框架与任务策略

JoMoHa框架通过强化学习联合训练执行框架与任务策略

研究人员提出了JoMoHa,一个强化学习框架,它从相同的任务结果中联合训练可执行框架生成策略和任务执行策略。JoMoHa在ALFWorld、WebShop和DBBench上优于仅权重和仅框架基线,平均成功率达到70.3%,在ALFWorld上达到97.0%。为每个策略分离的令牌历史和价值估计防止了朴素交替训练中出现的不兼容性。

事件版本 1.

Key insights

交替训练导致不兼容

对模型和框架进行朴素的交替更新会导致两个组件逐渐偏离。随着框架和模型变得不兼容,性能先上升后下降,干扰任务执行并可能削弱模型训练。

从共享结果训练的两个策略

JoMoHa训练一个策略编写可执行框架,另一个策略在其下行动,两者都基于相同的任务结果。每个策略保留单独的令牌历史和价值估计,因此框架编写器是在系统内部学习的,而不是固定的外部前沿模型。

在三个基准上成功率最高

JoMoHa击败了仅权重和仅框架基线,并在ALFWorld、WebShop和DBBench上取得了评估方法中最高的成功率。它平均达到70.3%,在ALFWorld上达到97.0%。

消融实验证实学习到的框架编写器

在固定求解器权重下,学习到的框架优于初始代码。训练框架编写器优于冻结它,协调两个学习器优于简单的联合更新。

从自身轨迹进行递归自我改进

JoMoHa从自身生成的轨迹中学习任务执行和运行时改进,执行递归自我改进(RSI)。

Source posts