XNews

腾讯混元发布EvolveScaler:AI信息演化基准测试

腾讯混元发布EvolveScaler:AI信息演化基准测试

腾讯混元推出EvolveScaler,该基准基于一份40天的RPG日志,其中世界状态在阅读后发生变化。它通过117个原型、159个问题操作符以及每个样本最多约1,200个事件,测试AI处理信息演化(撤回、更正和回溯填充)的能力。前沿模型在最难层级的中位avg@5仅为11.3,而在该数据集上训练使8个分布外基准的平均性能提升了+5.25。

Source posts