XNews

メタ、実世界タスクにおけるマルチモーダルエージェント評価のための「WildArtifactBench」をプレビュー

メタ、実世界タスクにおけるマルチモーダルエージェント評価のための「WildArtifactBench」をプレビュー

メタは、多様な成果物形式にわたる複雑な実世界タスクにおけるエージェントを評価するための内部評価フレームワーク「WildArtifactBench」をプレビューした。このフレームワークは、厳格な正解基準ではなく、人間およびエージェントの選好判定者による勝率とエロレーティングを採用し、実用的なマルチモーダルワークフロー全体のタスクカバレッジを拡大する。WildArtifactBenchから10のタスクが公開され、マルチモーダルエージェントが提供する実際の実用性の測定を前進させる予定である。

Source posts