EvolveScaler:信息演化基准测试

腾讯推出了EvolveScaler,这是一个针对信息演化的基准测试,其中记录会被撤回、更正和回填。它将世界定义为一个可执行的状态机,并渲染为自然语言。在最难的层级上,前沿模型的得分低至11.3%。
Key insights
基准测试设计
EvolveScaler将世界定义为一个可执行的状态机,然后将其渲染为自然语言。它包含117个原型、159个问题操作符、5个难度层级,每个样本最多包含约1200个事件。该基准测试旨在评估模型处理阅读后发生变化的信息的能力。
模型性能
在最难的层级上,14个前沿模型的中位数avg@5降至11.3%。在EvolveScaler上进行训练后,模型在8个分布外基准测试中的平均性能提升了+5.25。