EvolveScaler: 情報進化のベンチマーク

Tencentは、記録が撤回、修正、バックフィルされる情報進化のベンチマークであるEvolveScalerを発表した。これは世界を実行可能な状態機械として定義し、自然言語に変換する。最先端モデルは最も難しい階層で11.3%という低いスコアを示した。
Key insights
ベンチマーク設計
EvolveScalerは世界を実行可能な状態機械として定義し、それを自然言語に変換する。117のプロトタイプ、159の質問演算子、5つの難易度階層、サンプルあたり最大約1,200のイベントを含む。このベンチマークは、読み取り後に変化する情報を処理するモデルの能力をテストする。
モデル性能
最も難しい階層では、14の最先端モデルの中央値avg@5が11.3%に低下する。EvolveScalerでのトレーニングにより、8つの分布外ベンチマーク全体で平均性能が+5.25向上する。