Anthropic、社内AI研究の自動化指標を公開

Anthropicは、社内のAI開発指標を公表した。AI研究業務の26%が自動化レベル4(AI主導)に達し、90%以上がAI関与、3万のエージェントがエンジニアリング業務に並行して従事している。計算リソースの約6%が安全性に割り当てられている。
Key insights
研究開発自動化指数:26%がAL4、90%がAI関与
Anthropicは毎週スタッフのタスクの20%をサンプリングし、542ノードからなるタスクツリーを作成した。Claudeは、Epoch AIのAL0〜AL5スケールに従って各タスクを評価した。2026年7月時点で、研究開発業務の26%がAL4(人間の監督下でのAI主導)、90%がAL2以上(AI関与または主導)である。AL5(完全自律)に達したタスクのサブセットはない。これは、AI自己改善の加速を測定するためのベースラインとなる。
エージェント監視:3万エージェントが稼働、ブロックされたアクションはわずか0.002%
社内エージェントプラットフォームでは、約3万のエージェントが同時に稼働している。オンラインモニタリングは、アクションのわずか0.002%(通常、重みの外部送信などの高速で取り返しのつかない害)をブロックする。オフラインモニタリングは、会話の約0.1%にフラグを立て、毎週約50件が人間のレビューにエスカレーションされる。レポートは、この規模では、まれな有害事象でも発生する可能性があると警告している。
計算リソースの割り当て:安全性には6%、AI駆動のAI研究開発ではさらに高い割合
ある1週間で、約1万の計算タスクが分類された。AI研究開発全体の計算リソースの約6%が安全性に割り当てられている。特にAI駆動のAI研究開発内では、安全性の割合は約12%に上昇する。この方法論により、ラボ間での標準化された比較や、安全なエージェント型AIの計算リソースへの上限設定が可能になる。
6ヶ月で1%から26%へ
モデル研究開発へのClaudeの参加は、わずか6ヶ月で1%から26%に上昇した。この急速な増加は、AIの研究開発への自己参加が急速に増加していることを示唆しているが、完全な自律的研究開発(AL5)にはまだ達していない。