XNews

s3マルチエージェント強化学習手法により群れが自律的に協調を学習

s3マルチエージェント強化学習手法により群れが自律的に協調を学習

研究者らは、エージェントがいつ単独で作業するか、発見を共有するか、チームメイトのメッセージを読むかを自分で決定し、事前に定義された役割や通信スケジュールを持たない協調型マルチエージェント強化学習手法「s3」を導入した。トレーニングと推論の予算を一致させた条件下で、トレーニング時の2倍のサイズで評価された群れは、最強のベースラインよりも25倍以上の協調問題を解決し、並列探索における通信エージェントは繰り返し作業をほぼ50%削減し、best-of-Nを最大9.4パーセントポイント上回った。

イベントのバージョン 1.

Key insights

設計ではなく学習される組織

マルチエージェントシステムは通常、どのエージェントが何をいつ行い、エージェントがいつ互いにメッセージを送るかを決定する、事前に書かれた静的なハーネスに従う。s3は代わりに、エージェントが協調強化学習を通じてその組織を学習し、事前に定義された役割や通信スケジュールを持たない。

大規模化における協調の向上

トレーニングと推論の予算を一致させた条件下で、トレーニング時よりも2倍の数のエージェントで評価されたs3の群れは、最強のベースラインよりも25倍以上の協調問題を解決した。

並列探索における効率性

並列探索において、通信するエージェントは繰り返し作業をほぼ50%削減し、best-of-Nを最大9.4パーセントポイント上回った。

創発的な相補的役割

s3のエージェントは異なるアプローチを取り、互いの作業を読み、群れの中で互いを補完する創発的な役割を示すことを学習する。これらの役割はより大きなチームにも一般化する。

Source posts