XNews

テンセント・ハンユエン、情報進化のためのベンチマーク「EvolveScaler」を公開

テンセント・ハンユエン、情報進化のためのベンチマーク「EvolveScaler」を公開

テンセント・ハンユエンは、モデルが変化する世界の状態について推論する必要がある情報進化のためのベンチマーク「EvolveScaler」を公開した。これには117のプロトタイプ、159の質問オペレーター、5つの難易度レベルが含まれる。最も難しいレベルでは、最先端モデルが中央値avg@5で11.3を達成し、これを用いたトレーニングにより8つのベンチマーク全体で平均+5.25の改善が見られた。

Source posts