EvolveScaler: 実行可能ステートマシンによる情報進化ベンチマーク

EvolveScalerは、情報進化を実行可能なステートマシンとしてモデル化し、自然言語のログを生成する。117のプロトタイプ、159の質問オペレーター、5つの難易度レベルを含む。最も難しいレベルでは、フロンティアモデルの中央値avg@5は11.3であり、これに基づく学習により8つのベンチマーク全体で+5.25の改善が見られた。

EvolveScalerは、情報進化を実行可能なステートマシンとしてモデル化し、自然言語のログを生成する。117のプロトタイプ、159の質問オペレーター、5つの難易度レベルを含む。最も難しいレベルでは、フロンティアモデルの中央値avg@5は11.3であり、これに基づく学習により8つのベンチマーク全体で+5.25の改善が見られた。