腾讯混元推出EvolveScaler,用于评估AI信息演化能力

腾讯混元发布了EvolveScaler,这是一个利用40天角色扮演游戏日志来测试AI处理信息演化(包括撤回、修正和补全)能力的基准测试。在包含117个原型的基准测试中,最难的层级上,14个前沿模型的中位准确率降至11.3%,但基于该数据训练后,在8个分布外基准测试中平均性能提升了5.25个百分点。

腾讯混元发布了EvolveScaler,这是一个利用40天角色扮演游戏日志来测试AI处理信息演化(包括撤回、修正和补全)能力的基准测试。在包含117个原型的基准测试中,最难的层级上,14个前沿模型的中位准确率降至11.3%,但基于该数据训练后,在8个分布外基准测试中平均性能提升了5.25个百分点。