XNews

腾讯混元のEvolveScaler:AIにおける情報進化のベンチマーク

腾讯混元のEvolveScaler:AIにおける情報進化のベンチマーク

腾讯混元は、40日間のRPGログに基づくベンチマークであるEvolveScalerを発表しました。このベンチマークでは、読了後に世界の状態が変化します。AIの情報進化(撤回、修正、バックフィル)を処理する能力を、117のプロトタイプ、159の質問オペレーター、サンプルあたり最大約1,200のイベントを通じてテストします。最先端モデルは、最も困難な階層で中央値avg@5がわずか11.3でしたが、データセットでのトレーニングにより、8つの分布外ベンチマークで平均+5.25のパフォーマンス向上が見られました。

Source posts