Replitの研究:32エージェントの群れがNumPyを18.9倍高速化、最強の単独エージェントは劣化
Replitは性能エンジニアリングのためのエージェント群に関する研究を発表し、32体のClaude Opusエージェントが2時間でNumPyワークロードを18.9倍高速化した一方、単一エージェントでは3.7倍だったと報告した。テストされた中で最強の単独モデルであるGPT-6.2 Astraは、群れが大きくなるにつれて性能が悪化した。一方、最良の32エージェント群は、ワーカーに一切メッセージを送らないコーディネーターを使用し、共有タスクボードに依存していた。
イベントのバージョン 1.
Key insights
群れのスケーリングが大幅な高速化を実現
1体のClaude Opus 5.5エージェントは2時間でNumPyワークロードを3.7倍高速化したが、32体のOpusエージェントの群れは同じ時間で18.9倍に達した。
最強の単独モデルはチームで劣化
GPT-6.2 Astraはテストされた中で最強の単独エージェントだったが、その群れは大きくなるにつれて悪化した。
コミュニケーション構造が結果を決定
最良の群れは直接メッセージをほとんど送らず、ワーカーがタスクをclaimし、共通ボードで結果を共有した。苦戦する群れはすべてをコーディネーター経由でルーティングし、エージェントが追加されるたびにコーディネーターの受信箱が増大した。
タスクの形状がエージェントの貢献に影響
独立した問題を持つコードベースでは、各新しいエージェントが有用に貢献できたが、高度に制約されたタスクでは追加エージェントが同じコードを巡って競合した。
分離されたサンドボックスが群れの実行を支援
各コーディネーターまたはワーカーは、独自のクラウドサンドボックスを持つ完全なReplit Agentであり、ブランチとプッシュを通じてリポジトリを共有し、群れボード、直接メッセージング、トランスクリプトを介して通信する。