テンセント、情報進化のためのベンチマーク「EvolveScaler」を発表

テンセントのHunyuanは、シミュレートされたRPG世界からの進化する情報をモデルがテストするベンチマーク「EvolveScaler」を発表しました。このベンチマークは、117のプロトタイプ、159の質問オペレーター、5つの難易度レベル、サンプルあたり最大約1,200のイベントを特徴としています。最も難しいレベルでは、中央値のavg@5が11.3に低下します。

テンセントのHunyuanは、シミュレートされたRPG世界からの進化する情報をモデルがテストするベンチマーク「EvolveScaler」を発表しました。このベンチマークは、117のプロトタイプ、159の質問オペレーター、5つの難易度レベル、サンプルあたり最大約1,200のイベントを特徴としています。最も難しいレベルでは、中央値のavg@5が11.3に低下します。