XNews

JoMoHaフレームワーク、RLによりハーネスとタスクポリシーを共同訓練

JoMoHaフレームワーク、RLによりハーネスとタスクポリシーを共同訓練

研究者らは、同一のタスク結果から実行可能なハーネス生成ポリシーとタスク実行ポリシーを共同で訓練する強化学習フレームワーク「JoMoHa」を発表した。JoMoHaはALFWorld、WebShop、DBBenchにおいて重みのみおよびハーネスのみのベースラインを上回り、平均成功率70.3%、ALFWorldでは97.0%に達した。各ポリシーに個別のトークン履歴と価値推定を設けることで、単純な交互訓練に見られる非互換性を防いだ。

イベントのバージョン 1.

Key insights

交互訓練は非互換性を引き起こす

モデルとハーネスに対する単純な交互更新は、両コンポーネントを乖離させる。ハーネスとモデルが非互換になるにつれて性能はまず上昇し、その後低下し、タスク実行を妨げ、モデル訓練を損なう可能性がある。

共有された結果から訓練される2つのポリシー

JoMoHaは、実行可能なハーネスを記述するポリシーとその下で行動するポリシーを、同一のタスク結果から訓練する。各ポリシーは個別のトークン履歴と価値推定を保持するため、ハーネス記述者は固定された外部のフロンティアモデルではなく、システム内部で学習される。

3つのベンチマークで最高の成功率

JoMoHaは重みのみおよびハーネスのみのベースラインを上回り、ALFWorld、WebShop、DBBenchにおいて評価された手法の中で最高の成功率を達成した。平均70.3%、ALFWorldでは97.0%に達する。

アブレーションが学習されたハーネス記述者を確認

固定されたソルバーの重みの下で、学習されたハーネスは初期コードを改善する。ハーネス記述者の訓練はそれを凍結するよりも優れ、2つの学習者を協調させることは単純な共同更新よりも優れる。

自身の軌跡からの再帰的自己改善

JoMoHaは自身が生成した軌跡からタスク実行とランタイム改善の両方を学習し、再帰的自己改善(RSI)を実行する。

Source posts