XNews

Inkling 2 Mini 26BモデルがAgent、Code、Textアリーナに追加

Inkling 2 Mini 26BモデルがAgent、Code、Textアリーナに追加

Thinky Machinesによる26Bモデル「Inkling 2 Mini」がAgent Arenaに追加された。このアリーナでは、Web検索、ファイルシステム、ターミナルアクセスを備えた数百万の実世界の長期的エージェントタスクでモデルがテストされる。スコアは保留中であり、モデルはCode Arena: WebDevとText Arenaでも利用可能である。

イベントのバージョン 1.

Key insights

Agent Arenaの評価範囲

Agent Arenaは、グローバルなユーザーコミュニティから集められた数百万の実世界の長期的エージェントタスクでモデルを評価する。モデルはWeb検索、ファイルシステム、ターミナルツールにアクセスして複雑なワークフローを完了できる。

リーダーボードの方法論

リーダーボードは、因果トレーシング手法を用いて平均的なモデルに対する成果のパフォーマンスを測定する。

追加のアリーナでの利用可能性

Inkling 2 MiniはCode Arena: WebDevおよびText Arenaでも利用可能である。

スコアは保留中

ArenaにおけるInkling 2 Miniのスコアは近日公開予定である。

Source posts