Inkling 2 Mini 26BモデルがAgent、Code、Textアリーナに追加

Thinky Machinesによる26Bモデル「Inkling 2 Mini」がAgent Arenaに追加された。このアリーナでは、Web検索、ファイルシステム、ターミナルアクセスを備えた数百万の実世界の長期的エージェントタスクでモデルがテストされる。スコアは保留中であり、モデルはCode Arena: WebDevとText Arenaでも利用可能である。
イベントのバージョン 1.
Key insights
Agent Arenaの評価範囲
Agent Arenaは、グローバルなユーザーコミュニティから集められた数百万の実世界の長期的エージェントタスクでモデルを評価する。モデルはWeb検索、ファイルシステム、ターミナルツールにアクセスして複雑なワークフローを完了できる。
リーダーボードの方法論
リーダーボードは、因果トレーシング手法を用いて平均的なモデルに対する成果のパフォーマンスを測定する。
追加のアリーナでの利用可能性
Inkling 2 MiniはCode Arena: WebDevおよびText Arenaでも利用可能である。
スコアは保留中
ArenaにおけるInkling 2 Miniのスコアは近日公開予定である。